您现在的位置是：首页 > 好文分享 > 创业资讯创业资讯

站长吐槽：头条搜索爬虫暴力抓取网站内容

网络虫虫 2020-01-08【创业资讯】1652人已围观收藏

简介最近有站长在网上发文吐槽表示，字节跳动为了快速发展搜索业务派出爬虫四处抓取网站内容，给中小网站主们造成了很大的损失和困扰，影响了...

最近有站长在网上发文吐槽表示，字节跳动为了快速发展搜索业务派出爬虫四处抓取网站内容，给中小网站主们造成了很大的损失和困扰，影响了网站正常的用户访问。

站长吐槽：头条搜索爬虫暴力抓取网站内容搜索引擎微新闻第1张

该站长表示，今年7月份，他突然发现公司的网站经常性打不开，网页加载极其缓慢，有时甚至直接瘫痪。经过一系列排查后，在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次，高则上千万次，服务器带宽负载飙至100%，而且该爬虫在抓取时完全不遵守网站的robots协议。

该站长顺着该爬虫的IP地址查询，证实，该爬虫就是字节跳动的搜索爬虫。

并且，在CSDN、V2EX等技术论坛也了解到，从字节跳动开始做搜索之后，其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音，遭受字节跳动的搜索爬虫暴力抓取的不是个例，很多小网站他们也没放过。

有小网站主抱怨表示：字节跳动的爬虫“一上午对网站发出46万次请求”，网站都瘫痪了，百度也没有这么折腾的！

最后，该站长表示，像我们这样做SEO的人来说，主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置，“对于像百度、搜狗、360等搜索引擎的规范抓取和收录各位站长都是非常欢迎的，但是头条搜索爬虫这样疯狂爬取内容网站都给整瘫痪了，不仅没给网站带来流量，还影响了正常的用户访问，这就很不“讲究”了。

但是对此，字节跳动的搜索部经理表示：文章所述今年七八月份头条搜索出现的爬虫问题，目前已经进行了优化升级，并且对抓取压力做了更有效的控制，头条搜索一直在关注站长及专业人员反馈的抓取问题，联系了部分发帖/文档反馈的网站及个人，我们分析了原因并对系统进行了迭代改进。目前看反馈已经有效改善。会持续关注反馈继续改进。

所以通过头条搜索爬虫暴力抓取网站内容来看，磊哥个人觉得，字节跳动入局全网搜索搅动搜素市场是好事，国内的搜索公司也该活动活动了，但是搜索引擎的索引数据这种东西是靠点滴积累起来的，百度、搜狗.360经历了那么多年的发展积累才走到今天，头条搜索想在这方面赶超还有很长一段路要走！

相关阅读：
头条搜索网页版正式上线
今日头条欲做号内搜索,可搜站外不少内容

顶一下（0）

踩一下（0）

上一篇：拼多多推出花式营销“拼多多文学”

下一篇：百度细雨算法2.0正式上线

文章评论

评论区

共20条评论

新推广-关注前沿科技网友
order nifedipine online cheap <a href="https://perinril.pro/">aceon 4mg sale</a> fexofenadine brand

2023-06-08 04:14:18 回复
新推广-关注前沿科技网友
purchase norvasc generic <a href="https://alispril.com/">cheap lisinopril 5mg</a> prilosec 20mg pill

2023-06-08 02:16:27 回复
新推广-关注前沿科技网友
montelukast 5mg drug <a href="https://dapxtne.top/">cheap dapsone 100 mg</a> buy avlosulfon 100mg online cheap

2023-06-06 06:17:57 回复
新推广-关注前沿科技网友
buy olumiant 2mg generic <a href="https://gmtormin.com/">glucophage online buy</a> buy cheap lipitor

2023-06-05 00:50:00 回复
新推广-关注前沿科技网友
proventil 100mcg without prescription <a href="https://pantople.life/">order pantoprazole 40mg for sale</a> order phenazopyridine pill

2023-06-04 16:47:36 回复
新推广-关注前沿科技网友
naprosyn tablet <a href="https://xproxen.ink/">order naproxen generic</a> purchase lansoprazole pill

2023-06-03 07:32:44 回复
新推广-关注前沿科技网友
digoxin us <a href="https://dilano.pro/">lanoxin 250mg uk</a> purchase molnunat pills

2023-06-01 20:40:45 回复
新推广-关注前沿科技网友
buy acetazolamide 250mg without prescription <a href="https://azathuran.top/">order azathioprine 25mg generic</a> imuran price

2023-05-31 11:51:46 回复
新推广-关注前沿科技网友
coreg 25mg without prescription <a href="https://carvedl.store/">buy coreg 6.25mg pills</a> aralen for sale

2023-05-31 09:00:29 回复
新推广-关注前沿科技网友
benicar 20mg without prescription <a href="https://getolmetan.com/">benicar for sale</a> purchase depakote sale

2023-05-29 01:00:57 回复
新推广-关注前沿科技网友
asacol 400mg sale <a href="https://azelast.sbs/">order astelin for sale</a> avapro pill

2023-05-28 06:22:43 回复
新推广-关注前沿科技网友
vardenafil 10mg sale <a href="https://buytiznepro.com/">zanaflex drug</a> hydroxychloroquine pills

2023-05-27 08:48:58 回复
新推广-关注前沿科技网友
ramipril 5mg sale <a href="https://etoric.cfd/">buy etoricoxib 60mg pill</a> purchase arcoxia

2023-05-26 12:38:50 回复
新推广-关注前沿科技网友
order vardenafil 10mg for sale <a href="https://buyvardpro.com/">levitra 10mg oral</a> purchase hydroxychloroquine for sale

2023-05-25 14:01:22 回复
新推广-关注前沿科技网友
ivermectin 6mg pills <a href="https://onlinepredpro.com/">prednisone 10mg sale</a> buy deltasone 5mg

2023-05-24 02:56:06 回复
新推广-关注前沿科技网友
buy lasix for sale <a href="https://onlinedoxne.com/">doxycycline brand</a> order ventolin inhalator sale

2023-05-23 19:44:59 回复
新推广-关注前沿科技网友
buy generic cialis 20mg <a href="https://onlinetdfpl.com/">usa pharmacy cialis</a> tadalafil 10mg tablet

2023-05-22 15:58:21 回复
新推广-关注前沿科技网友
generic leflunomide 20mg <a href="https://ordersldpl.com/">purchase viagra pill</a> order azulfidine 500mg online

2023-05-21 05:15:41 回复
新推广-关注前沿科技网友
accutane 40mg canada <a href="https://accisotrepx.com/">absorica order online</a> zithromax us

2023-05-20 10:19:45 回复
新推广-关注前沿科技网友
cheap minocycline <a href="https://buyhytop.com/">hytrin 1mg cheap</a> order pioglitazone 30mg for sale

2023-05-19 18:29:08 回复