百度搜索蜘蛛被淘宝网屏蔽了抓取，从而导致百度不能索引淘宝网数据，其实这已经不能够算是个新闻了，但是却值得我们思考下这个现象，淘宝为什么要屏蔽百度搜索呢？ 淘宝网的robots.txt文件的内容是这样的：
user-agent：Baiduspider
disallow： /
淘宝网的这种写法的表示意思是：屏蔽百度蜘蛛抓取淘宝网站目录下的所有数据，而且这里写法是表示只屏蔽百度蜘蛛，对
