各大网站反爬越来越厉害，如何梭哈式爬取？
我来说一个梭哈式爬取的
某个网站,上面的数据量很大,但是反爬很厉害
不管你用什么方式,只要一个ip一定时间周期内访问数据页面次数超过规定次数
封ip30分钟,一天内超过,封3天
就算你用代理池来爬,因为数据量大,效率也很低
最终在网站上找了一下,下载了它的安卓app
然后抓包拿到数据api接口,但是里面有个参数随机值,然后逆向了它的app,剥壳,找到算法
至此,开始梭哈
go 协程,开启1w个
代理ip池买了几个
一把梭哈
好爽
相关文章
最让你震惊的网站有哪些？
压箱底的震惊来了， 来波大的，一百个网站！ 这些都是我平时辛辛苦苦收集的，是真的牛逼，居然还有这种网站。1、实时地球网址： https://zoom.earth/ 实时图像每 10 分钟更新一次，提供风暴、天气预报、降水、火警等数据 2、陕…
天涯论坛关闭后，除了知乎，大家都在逛什么？
天涯神贴合集完整版，给大家整理好了！ 那年大学，打开天涯，感觉打开了一片新天地，里面什么样的人都有，有大神也有蛇神，比某乎好太多了，可惜后面关了很多年前，天涯社区曾出现了不少深受欢迎的帖子，成功地预言了许多形势和事件。这些帖子因此被冠以“天…
手机的运行内存真的有必要上16GB吗？
全是国产垃圾APP惯出来的。 那些对国产软件没意见的人，建议出国看看，花不了多少钱，出门开 Google Map，订宾馆用 Booking，翻译用 Google translate，聊天用 Telegram，社交活动用 Discord，你会…
无人机真的是中国领先吗？
巧了这是。 捡到了一台大疆。应该是别人飞丢的。在草丛中泡过水，轴承锈死，电池鼓涨已，经没有维修价值了。但作为玩电子的，免不了要把它解剖，研究一番。那么，我们看看它的国产化率能有多少吧。图片说话： 解释一下吧。…
闲鱼上为什么会有人问都不问直接下单?
我去年卖一个荣耀90，挂的2200，最终成交2137.5元。 对方是一个高高壮壮的西北口音，要求的自取。 大概我吃过午饭，约了旁边的商场，那里有荣耀售后。 见了面，先看了手机，试了好一会儿，各种测试，没问题。 然后去了商场二楼的荣耀售后，让…
想入个键盘，想买机械的但是太贵，求知友推荐一款手感比较好的薄膜键盘？
相信很多接触过286的90后朋友都和我有一样的体会，以前的机械键盘真的是让人头皮发麻，不仅敲击要非常用力，而且很吵。所以后面随着大家的生活消费水平的上升，家家户户都有电脑了，自然也不想再用打字来宣扬自己有电脑的优越感，基本上大家都换成了又轻…
发表评论
