搜索引擎的工作原理是抓取—过滤—收录—排序。所以我会先抓取，没有规矩不成方圆，我们蜘蛛的世界也是有规则的，当我发现某一个网站时我会通过网站链接尝试进入这个网站<如果你是新网站，我临时发现不了你你可以直接提交给我哦》进入这个网站时会首先检查该网站的根域下是否有一个叫robots.txt的纯文本文件，哪些需要我看的  哪些是你的隐私不想我看的你一点在这里写好啊。其实我跟你们人类是一样的，同样掌握人喜欢和不喜欢的。如果网站打开的很慢或者直接打不开我是不喜欢的。进去后我会找我喜欢的东西，文字，图片和视频之类的。因为我不是人类所以我不能直接识别图片视频，iframe框架等。所以我希望你们能给这些东西添加一下说明。说实话我也很懒， 如果网站链接层次结构太长太深我也不喜欢太累了。我来过网站之后都是可以查询到的，你可以查看网站日志，还可以到百度搜索资源查询哦。

我抓取完了之后就要开始下个工作过滤了，你知道我会把哪些东西过滤扔掉吗？告诉你吧，内容差的  空白内容的  下拉才能看到的  有权限的整个网站都是锚点没有几个页面等等全部都会直接pass，剩下的我就会拿回去放到数据库中,<索引库.>   之后会在这个库中进行分类  归档  评分   排名了。