长沙网站优化公司

什么是搜索引擎?一只蜘蛛的独白

浏览:/ 2019-07-02

 大家好我叫蜘蛛,我来自百度搜索引擎。我的英文名字是baiduspider,我是一个叫搜索引擎的带到这个世界的。你知道什么是搜索引擎吗?你可以把它比作一个超级数据库,这个数据库内是很复杂的,我就不深入的给你解释了,数据库里面的数据主要来源于互联网上的各种网站,因为网站数量太多了,多的连我也不知道是多少,这么多网站数据靠人工添加是不行的,工作量太大了。于是我就来到了这个世界,代替人工。u=2608772883,584885969&fm=26&gp=0.jpg

搜索引擎的工作原理是抓取—过滤—收录—排序。所以我会先抓取,没有规矩不成方圆,我们蜘蛛的世界也是有规则的,当我发现某一个网站时我会通过网站链接尝试进入这个网站<如果你是新网站,我临时发现不了你你可以直接提交给我哦》进入这个网站时会首先检查该网站的根域下是否有一个叫robots.txt的纯文本文件,哪些需要我看的  哪些是你的隐私不想我看的你一点在这里写好啊。其实我跟你们人类是一样的,同样掌握人喜欢和不喜欢的。如果网站打开的很慢或者直接打不开我是不喜欢的。进去后我会找我喜欢的东西,文字,图片和视频之类的。因为我不是人类所以我不能直接识别图片视频,iframe框架等。所以我希望你们能给这些东西添加一下说明。说实话我也很懒, 如果网站链接层次结构太长太深我也不喜欢太累了。我来过网站之后都是可以查询到的,你可以查看网站日志,还可以到百度搜索资源查询哦。
我抓取完了之后就要开始下个工作过滤了,你知道我会把哪些东西过滤扔掉吗?告诉你吧,内容差的  空白内容的  下拉才能看到的  有权限的整个网站都是锚点没有几个页面等等全部都会直接pass,剩下的我就会拿回去放到数据库中,<索引库.>   之后会在这个库中进行分类  归档  评分   排名了。timg - 2019-06-17T160229.445.jpg

阅读"什么是搜索引擎?一只蜘蛛的独白"的人还阅读

上一篇:SEO大神教你如何写高质量软文,看了你也懂的怎么写

下一篇:返回列表