您现在的位置是:首页 > 好文分享 > 营销推广营销推广

网曝百度不顾robots协议擅自抓取微信内容

网络虫虫 2020-01-19【营销推广】525人已围观 收藏

简介刚刚收到通知:百度现在已删除相关内容!搜狗合作了知乎和微信,乐视贾老板倾家荡产维护版权,大家都在努力创造独家资源,看到微信独家数据...

刚刚收到通知:百度现在已删除相关内容!

搜狗合作了知乎和微信,乐视贾老板倾家荡产维护版权,大家都在努力创造独家资源,看到微信独家数据,百度这是眼红得坐不住了。

据@郭昂9爆料:百度不顾robots协议擅自抓取微信内容和应用,原文是这样的:

昨天有点事情忙到晚上,突然碰到了一个搜狗的哥们跟我抱怨平安夜还要被迫加班,想到很久没见,想一起吃个宵夜但是没有实现,说是忙不过来,今天又详细的了解了一下,原来微信公众号的数据被百度不顾robots协议大量的抓取和应用,他不得不处理反抓到凌晨,搞得平安夜都只能陪着看”百度spider“度过。虽然自己的微博荒废了很久,但还是不吐为快。

背景是这样子的,微信做了公众账号后,积累了大量高质量的作者和文章,养成了很大一批用户的阅读习惯。腾讯投资搜狗,开放微信数据供搜狗搜索独家使用,这部分数据对用户浏览和阅读需求的满足,能起到很大的帮助,也算是在搜索体验趋向于同质化的今天,能有效的带来“差异化”的体验点。所以,搜索靠腾讯的资源,将微信的公众号文章嵌入了搜狗搜索中,还开发了基于公众号的推荐应用微信头条。

当然,这种优质的独家数据是要进行独家保护的,搜狗也就用了搜索引擎常用的robots协议,对相应目录进行了限制,不允许其他搜索引擎抓取。关于robots协议,这是搜索引擎行业约定俗成的行规,可以限制其他搜索引擎抓取和索引相应内容。

网曝百度不顾robots协议擅自抓取微信内容 微信 百度 SEO新闻 微新闻 第1张

搜狗搜索的爬虫协议对网站抓取内容的范围是做了明确规定的,百度爬虫没有任何权利抓取搜狗独家微信内容资源,这是事实。

顶一下 (0
踩一下 (0

相关文章

文章评论

    评论区

    表情

    共0条评论
    • 这篇文章还没有收到评论,赶紧来抢沙发吧~

网站信息

  • 站长名称:网络虫虫
  • 网站系统:YzmCMS
  • 站长 QQ:469864288
  • 文章统计:1060篇文章
  • 标签管理标签云
  • 网站地图XML网站地图
  • 微信公众号:扫描二维码,关注我们

打赏本站

  • 如果你觉得本站很棒,可以通过扫码支付打赏哦!
  • 微信扫码:你说多少就多少~
  • 支付宝扫码:你说多少就多少~

2019年阿里云双十一官方活动

只限定新用户购买!(史上最划算的活动!)

老用户要想成为新用户,很简单,不能使用任何一个之前注册的,比如,人名,电话,邮箱,认证支付宝,淘宝等

我知道了