|
百度搜索蜘蛛被淘宝网屏蔽了抓取，从而导致百度不能索引淘宝网数据，其实这已经不能够算是个新闻了，但是却值得我们思考下这个现象，淘宝为什么要屏蔽百度搜索呢？ 淘宝网的robots.txt文件的内容是这样的： user-agent：Baiduspider disallow： / 淘宝网的这种写法的表示意思是：屏蔽百度蜘蛛抓取淘宝网站目录下的所有数据，而且这里写法是表示只屏蔽百度蜘蛛，对于其他搜索引擎则没有屏蔽。那么，为什么淘宝网要屏蔽百度搜索引擎的抓取呢，以下是个人的一些看法，仅供大家参考： （一）保护用户信息、商业信息. robots.txt 文件的存在就是为了禁止搜索引擎抓取网站中不想被公开的内容，如果网站没有书写禁止抓取全部数据的命令，而只是禁止了其中的一部分内 容，可能会由于网站管理的疏忽，结果屏蔽的不是很准确，所以对于电商类网站这样的具有大量用户隐私数据的网站，应该更好的屏蔽这些搜索引擎的抓取，而全部 屏蔽是个简单而又有效的方法。 （二）防止搜索引擎带来的诚信和信誉问题. 如果淘宝网公开让搜索引擎抓取商品、店铺信息，那么就会有卖家为 了获得在搜索引擎上更好的排名而使用搜索引擎优化技术，如果该商品或店铺确实能够提供更好 的服务，那么这种排名是可取的，但是如果有不法商家或者服务质量不好的商家，让他们获得了好的排名，但是最终得到的确是劣质的服务，那么这个对于淘宝网的 信誉来说，将是一个很大的问题，显然不利于淘宝的发展。信誉对电商站十分重要，尤其是像淘宝这样的C2C类型的电商网站，用户复杂，监管难度太大。 （三）淘宝的实力保证与更好的占据市场 当 网民想到网上购物这个词的时候，可能脑海中最先出现的就是淘宝，尽管如今的电商站层出不穷，但是淘宝却已经根深蒂固。淘宝拥有巨大的用户群，就算屏蔽了 百度蜘蛛的抓取，对淘宝来说影响并不是很大。而且屏蔽了搜索引擎的抓取之后，淘宝就减少了外部因素的干预，能够更好的实现内部的管理。比如，这样就不会存 在针对于搜索引擎的SEO优化，虽然现在已经出现了针对于淘宝的淘宝SEO优化，但是这种针对于淘宝的操作，相对于搜索引擎来说，它能够更好的进行控制， 因为你做的这一切都是在我的地盘里面。 （四）以回应百度在电商市场的竞争 大家可以看到百度的市场在不断的扩大，百度的产品与服务在不断 的推出，百度也宣称将要做最大的媒体，它说的是媒体，而不再是最大的搜索引擎了，如果当整个 互联网的流量大部分都流向了这个最大的媒体，那样的互联网还算正常吗？百度也打算进军电子商务领域，在如今百度搜索占据了搜索主导地位的情况下，如果百度 在推出电子商务，那么可想而知，当我们搜索商品的时候，可能结果前几的都是百度自己的结果，如果真是这样对于淘宝，对于其他的电商，将是一个巨大的打击。 淘宝肯定不愿意自己的地位受到这样的威胁，那么淘宝为了回应百度，就果断屏蔽百度蜘蛛的抓取，这样用户访问淘宝就会减少对百度搜索的依赖，对于百度来说既 是流量与用户的损失，也让自己处于了不利的地位。我觉得这也是为什么淘宝只屏蔽百度而不屏蔽其他搜索引擎的主要原因。 |
