摘要：无法禁止收录的小看法;收录，或者某些不需要被收录并分享权重的页面等等。中对某个网页屏蔽了蜘蛛的收录，但搜索引擎还是会对该网页进行抓取，只不过在相关搜索结果中不会展现这些网页内容。对搜索引擎蜘蛛进行屏蔽，同时将所有的非法内容页面也同样的禁止收录。
关于robots.txt的一点小见解：不能禁止页面的收录；收录，或者一些不需要收录而共享权重的页面等等，从这个方面来说，robots.txt约束了搜索引擎的行为。；robots.txt的书写有出错的可能，但是本文是建立在正确书写robots.txt的前提下进行的。有一段很官方的说法是：网站robots.txt针对某个网页屏蔽了spider的收录，但是搜索引擎还是会抓取该网页，只是这些网页的内容不会显示在相关的搜索结果中。这句话乍一看有点令人费解，但是在我看来，还是很有可能的。；搜索引擎必须对这些网站有相应的了解，然后权衡是否收录，给予什么样的排名。比如你要做一个非法网站，先假设该网站的内容还没有被监管部门发现，先不考虑下面这种方式的利弊。 当然如果直接用相关关键词做网站SEO优化robots 禁止百度收录，在获得较高曝光率的同时，也大大增加了被封禁的可能性。更何况这些非??内容也有可能不会被搜索引擎封禁。这时候就大量使用健康内容来给网站做SEO排名，通过健康关键词获得大量流量，再在这些健康内容上增加非法信息的链接入口。当然这样的链接必须使用网站的robots.txt来封禁搜索引擎蜘蛛，一切非法内容页面也一律禁止收录。这样是不是就能通过搜索引擎获利，又能躲过搜索引擎的监管呢？其实不然，正如上面所说robots 禁止百度收录，搜索引擎为了提供良好的用户体验（不管现在的搜索引擎是否完善），必然会对已经收录或即将收录的网站有全面的了解，然后暗中从事一些非法活动。我想搜索引擎不会对这种情况置之不理。所以，即使你网站的robots.txt明确禁止蜘蛛抓取某些页面，搜索引擎还是要检查的。 否则，你怎么能全面了解网站的优劣呢？那么这些页面就只能被隐藏起来，至少在普通的搜索结果中是检测不到的。同时，笔者认为自己只是一个刚开始学习SEO的菜鸟，所以笔者的观点不一定正确。
