各大网站反爬越来越厉害，如何梭哈式爬取？

我来说一个梭哈式爬取的

某个网站,上面的数据量很大,但是反爬很厉害

不管你用什么方式,只要一个ip一定时间周期内访问数据页面次数超过规定次数

封ip30分钟,一天内超过,封3天

就算你用代理池来爬,因为数据量大,效率也很低

最终在网站上找了一下,下载了它的安卓app

然后抓包拿到数据api接口,但是里面有个参数随机值,然后逆向了它的app,剥壳,找到算法

至此,开始梭哈

go 协程,开启1w个

代理ip池买了几个

一把梭哈

好爽