百度蜘蛛真的会爬吗？

只看大图 · 发表于 2014-11-14 17:25:43

在我印象里，说百度蜘蛛爬，只是一个比喻，服务器日志里，也看不到蜘蛛抓取是有跳转的，但今天在服务日志看到一个奇怪的现象，nslookup一下，蜘蛛ip也是正确的，显示的竟然是跳转，我到网页上去看，该页面是已经删除的，自动跳转到首页的，如下：

孤陋寡闻，望大神指点。

楼主| *发表于 2014-11-14 17:27:23* · 发表于 2014-11-14 17:27:23

晕，忘记匿掉网址了！

*发表于 2014-11-14 17:58:49* · 发表于 2014-11-14 17:58:49

是啊，我看书里也是说蜘蛛不会有refer,都是先抓取url，之后直接访问，难道？！

*发表于 2014-11-14 18:59:57* · 发表于 2014-11-14 18:59:57

蜘蛛有多种抓取方式.
1.获取需要抓取page list,然后分发给各个蜘蛛,直接挨个request下载,那么就不存在referer. (绝大部分搜索引擎)
2.直接通过页面URL跳转,这种情况就是存在referer的. (例如360Spider)

楼主| *发表于 2014-11-16 13:38:42* · 发表于 2014-11-16 13:38:42

Joker 发表于 2014-11-14 10:59
蜘蛛有多种抓取方式.
1.获取需要抓取page list,然后分发给各个蜘蛛,直接挨个request下载,那么就不存在refer ...

谢谢指点迷津

*发表于 2014-11-19 21:33:43* · 发表于 2014-11-19 21:33:43

木兰花开发表于 2014-11-14 17:58
是啊，我看书里也是说蜘蛛不会有refer,都是先抓取url，之后直接访问，难道？！ ...

哪本书，可以告知一下么？

*发表于 2014-11-20 17:44:37* · 发表于 2014-11-20 17:44:37

Axnic.tian 发表于 2014-11-19 21:33
哪本书，可以告知一下么？

《seo深度解析》里面讲的

*发表于 2014-11-22 00:09:18* · 发表于 2014-11-22 00:09:18

建议楼主多看点基础方面的书。

*发表于 2014-11-23 17:44:20* · 发表于 2014-11-23 17:44:20

路过来学习的

帐号		自动登录	找回密码
密码			注册