各大网站反爬越来越厉害，如何梭哈式爬取？
我来说一个梭哈式爬取的
某个网站,上面的数据量很大,但是反爬很厉害
不管你用什么方式,只要一个ip一定时间周期内访问数据页面次数超过规定次数
封ip30分钟,一天内超过,封3天
就算你用代理池来爬,因为数据量大,效率也很低
最终在网站上找了一下,下载了它的安卓app
然后抓包拿到数据api接口,但是里面有个参数随机值,然后逆向了它的app,剥壳,找到算法
至此,开始梭哈
go 协程,开启1w个
代理ip池买了几个
一把梭哈
好爽
相关文章
PS有哪些实用小技巧，小白也能一学就会？
不看后悔系列！本篇分享25个PS实用的技巧！不能保证每个都能让你惊艳，但是却是我用心写出来的，希望对你有帮助。另外我的知乎也写了接近200篇PS的技巧，超级合集分享！我目前正在带一个PS/Ai的软件训练营，两个多月搞定两大软件的学习详细的内...
为什么我们一直在给B站充大会员但B站却一直处于亏损状态？
我讲一下离谱的真相吧，欢迎喷我。很多人都觉得B站在赶走人才，赶走优秀的长视频创作者，也觉得知乎在这么做，是没错的。确实在这么做。而原因很简单。只有影响力很大的KOL才有商业价值。（KOL是指“关键意见领袖”）而你说你是人才？对不起，人才不赚...
腾讯文档回收站彻底删除文件真的找不回来了吗？
趁早打电话联系腾讯文档的人可能还有救，一般这种都是数据库里标记为删除，文件还没有实际删除，然后经过一段时间后程序统一进行真删除。这个“一段时间”可长可短，可能是一小时也可能是几天几个月甚至几年，要看腾讯服务器的程序是怎么写的。不过你联系腾讯...
为什么扫码支付在中国流行，在发达国家被排斥？
因为这是一种落后的技术。卖菜的大爷花5毛钱就可以打印出一张二维码来接受付款。你觉着这种先进么？跟先进完全不沾边的。正是因为不先进，所以才能流行。卖菜大爷用不起一台先进的、具有NFC感应功能的、还能刷各种银行卡的收款机。这就是现实。发达国家，...
台积电通知其中国客户，从下周开始，所有 7nm 及以下芯片出货将停止。如何看待这一行为？
我说美国快要没招了，你信么？这次台积电宣布停止向中国大陆客户供应7纳米及更先进AI芯片，再加上前段时间台积电对华为的制裁，我们基本可以认为，台积电在高端芯片领域，已经彻底把大陆给拉黑了，这也意味着中美芯片战已经到了最关键的时刻，一旦我们克服...
网易云音乐上看到过最触动的热评是什么？
1.“昨天晚上洗澡的时候，我忘记拿毛巾了，喊了声妈妈帮我拿下毛巾，正当我伸出左手准备接毛巾的时候，我愣了一下，又换了右手。”希望你永远不会听懂这句话，永远都不要懂。——网易云热评《关键词》2.小时候跟着父亲去城里卖西瓜，害怕同学会看到我，就...
发表评论
