自2009 年11 月,Bing(必应) 团队就已开始忙于改进 Bing 的抓取机器人(也称爬虫),并且将在今年 10 月 1 日,新的Bing 机器人 Bingbot 将代替旧的 MSNbot 2.0b。
更新后的UA 将是:
Mozilla/5.0 (compatible; bingbot/2.0 )
HTTP 头也将附带如下 FROM 信息:
From: bingbot(at)microsoft.com
另外,robots.txt 中涉及 msnbot 的规则仍将生效,不过 bingbot 和其他旧版微软搜索引擎机器人共存情况下,bingbot 规则优先生效。
文章内容来源于网络,不代表本站立场,若侵犯到您的权益,可联系多特删除。(联系邮箱:[email protected])
近期热点