自2009 年11 月，Bing（必应） 团队就已开始忙于改进 Bing 的抓取机器人（也称爬虫），并且将在今年 10 月 1 日，新的Bing 机器人 Bingbot 将代替旧的 MSNbot 2.0b。
更新后的UA 将是：
Mozilla/5.0 (compatible; bingbot/2.0 )
HTTP 头也将附带如下 FROM 信息：
From: bingbot(at)microsoft.com
另外，robots.txt 中涉及 msnbot 的规则仍将生效，不过 bingbot 和其他旧版微软搜索引擎机器人共存情况下，bingbot 规则优先生效。
文章内容来源于网络，不代表本站立场，若侵犯到您的权益，可联系多特删除。（联系邮箱：[email protected]）
相关阅读
近期热点
举报
最新资讯