robots是否可以对网站收录有帮助？

robots的用法，现在网站上有很多教程，基本上已经说的很详细了，对网站的搜索引擎优化起到很好的帮助，从一个小站到门户型的网站都能有很好的帮助，对于SEOer来说，也能很好的提高搜索引擎优化技巧。

最近我在浏览很多门户网站的robots.txt文件的时候，看到国外的www.cnn.com的robots.txt文件的最上面出现了两行网址。

Sitemap: http://www.cnn.com/sitemap_index.xml
Sitemap: http://www.cnn.com/sitemap_news.xml
这两行一看肯定不是robots的标准书写方法，那它放在这里的目的是什么，对这两个网址的收录有帮助吗？这里我搜索一下这两个网址在google.com和baidu的收录情况，结果是还没有收录。

我们都知道搜索引擎爬虫在爬网站的时候都会先爬robots.txt文件。是否这样放对网站页面收录有帮助呢，这里我也做个实验，在robots.txt文件里放一个网页的路径，看看是否能收录呢，这个页面在其他的页面肯定是没有链接的，原则上，搜索引擎肯定是搜索不到，看看结果会怎样。后续的试验结果出来后，我会报告给大家结果。呵呵

本文是原创，转载的请用链接的形式表明出处。robots是否可以对网站收录有帮助？