Google 开源 robots.txt 解析器,并推动 REP 为互联网标准

大概这是七月初最重要的一条有关搜索引擎行业的新闻,Google 公司,力推 REP 为互联网标准,并且把自己的 robots.txt 解析器在 Github 上开源了。

robots.txt,源自于 1994年的时候,Martijn Koster (一个网站站长)在被蜘蛛过度抓取网站后,自行创建的一个初始标准,随着越来越多的网站站长的补充,追随,Rebots Exclusion Protocol (REP),就诞生了,随着各大搜索引擎同站长们的良性互动,它们也都采用了这个标准。然而这个 REP,始终没有成为一个互联网标准。

现在 Google 联合其他的几个巨头,力图把 REP 推动成为一个互联网标准。

Robots Exclusion Protocol 草案: draft-rep-wg-topic-00

googlebots-robotstxt25_announce OSS parser.png在把 REP 作为标准的路上,其实还是同平时站长们的使用还是有一点小小变化的,具体的表现在 robots.txt 不止可以用于 HTTP,还包括了 FTP 等基于 URI 的传输协议;解析器的开发者需要至少解析 robots.txt 的前 500KB内容;还有缓存时间等等一些新的标准内容。

网站站长们如果对此有建议,有问题,等等,都可以到 Webmaster Community 或者twitter 上联系。

就我个人的看法,这是推动站长以及搜索引擎规范化的进步,站长们有规范可遵循,搜索引擎也需要遵守,包括各种内容抓取者都需要遵守。

如何使用 robots.txt: https://seo.g2soft.net/2015/09/09/robots-txt.html

文章来源:

Author:David Yin
link:https://seo.g2soft.net/2019/07/12/google-robotstxt-rep.html