为什么被robots屏蔽的网站还会被百度收录？
2014-09-23 浏览：150
有两种情况：第一种是对已经收录了的网页使用robots屏蔽，老网页按照robots规则的删除时间会很长，可能会造成百度没有遵循robots规则的感觉；第二种是如果被屏蔽的网页获得了大量的外链，那么这个网页的内容不会被百度索引，但是这个网页的URL可能会被百度收录，多见于域名首页。比如淘宝网，淘宝商城的大量卖家商城二级域名。如果连URL都不想被百度收录，那么针对百度spider返回404就可以了。
上一条: 如何使我的网页不被百度收录？robots的生效时间？
下一条: 为什么站内没有链接的私密性网页，或需要访问权限的网页，也会被百度收录？