Google webmaster 上线robots.txt测试工具

最近Google Webmaster 增加了两个功能:

第一个是:

Google Webmaster 新增一个功能“国际定位” 。有多种语种的网站可以看到具体哪一些语种会有hreflang错误。 最后加上相应的tag,如下
你需要在每个页面都装上以下的标签 好让搜索引擎判别

< link rel="alternate" href="http://example.com/en/test.htm" hreflang="en" />
< link rel="alternate" href="http://example.com/fr/test.htm" hreflang="fr" />
< link rel="alternate" href="http://example.com/sp/test.htm" hreflang="es" />

第二个是:

robots.txt测试工具 上线了。

从这个工具可以看到是不是你已经将哪些文件等将谷歌屏蔽了。

当你要看哪些具体页面有没有被googlebot 爬行的时候 可以直接“输入页面URL” 然后点击 测试工具最底下的 “测试”按钮

robots-txt-tester