当前位置：首页 > 每日看点

各大网站反爬越来越厉害，如何梭哈式爬取？

卡卷网2年前 (2024-12-01)每日看点336

我来说一个梭哈式爬取的

某个网站,上面的数据量很大,但是反爬很厉害

不管你用什么方式,只要一个ip一定时间周期内访问数据页面次数超过规定次数

封ip30分钟,一天内超过,封3天

就算你用代理池来爬,因为数据量大,效率也很低

最终在网站上找了一下,下载了它的安卓app

然后抓包拿到数据api接口,但是里面有个参数随机值,然后逆向了它的app,剥壳,找到算法

至此,开始梭哈

go 协程,开启1w个

代理ip池买了几个

一把梭哈

好爽

扫描二维码推送至手机访问。

分享给朋友：

作为一个乱七八糟什么都懂一点的电脑小白，日常经常被别人增加些临时任务，比如PDF转Word，提取视频里的音频，图片加个边框。之前，电脑里安装了不少这类的软件，虽然能满足要求，但装的多了，总感觉电脑卡卡的。最近发现了一个超强的在线工具网站，首…

首先声明：短剧授权是免费的！短剧授权是免费的！短剧授权是免费的！其次我们再聊聊，短剧推广到底赚不赚钱？多的就不说了，随便上个图片，给大家过过瘾！然后，我们进入主题： 0粉丝账号，新手，应该如何申请短剧推广！一、短剧推广变现…

别的不说，这玩意儿是真抗造啊，我这2012年买的MacBook Pro，依然在用…… 这台电脑我博士最后两年用来写代码（只写不运行，运行要上集群）和写论文，工作之后就变成生活和娱乐了，因为我一直用架子和外接键盘（颈椎不好）所以电脑看…

我说美国快要没招了，你信么？这次台积电宣布停止向中国大陆客户供应7纳米及更先进AI芯片，再加上前段时间台积电对华为的制裁，我们基本可以认为，台积电在高端芯片领域，已经彻底把大陆给拉黑了，这也意味着中美芯片战已经到了最关键的时刻，一旦我们克…

肯定是一带一路了，国内没什么卷的空间了，现在国家正在给一带一路的第三世界国家建设基础设施，等交通打通之后，就是通信打通，通信打通就是贸易打通，未来我建议大家重仓小语种，阿拉伯语最值得学（也有其他小语种自己去查一带一路国家），将来去其他国家随…

1. “昨天晚上洗澡的时候，我忘记拿毛巾了，喊了声妈妈帮我拿下毛巾，正当我伸出左手准备接毛巾的时候，我愣了一下，又换了右手。” 希望你永远不会听懂这句话，永远都不要懂。 ——网易云热评《关键词》 2. 小时候跟着父亲去城里卖西瓜，害…