爬虫到底难在哪里？

爬虫难在逆向, js逆向和安卓逆向，其它的没啥太多难点，比如分布式和机器学习算法等。至于什么验证码，找打码平台或干脆买算法就行了，没必要把时间耗在验证码这里。爬虫工程师的初级水平要掌握的主要是Chrome, Fiddler, requests, selenium这四个工具。

Chrome, Fiddler等工具用来抓包，分析网络请求，requests则用来发送http请求，而Selenium用来实现数据抓取的自动化。

这4个工具没啥难度，你可以在这些工具的官网找教程来学一下。或干脆找一些网上的博客来学一学。等你能熟练使用这些工具来抓取东方财富，耐克官网等平台的数据时，已然达到初级水平。

在东方财富平台抓取A股，美股等金融数据，在耐克官网抓取所有球鞋的货号，价格，尺码等数据。

达到初级水平以后，需再系统学习网络协议(主要是http和https协议)，浏览器原理，并发编程，数据库等。以及开始学习反爬与反反爬技术。待你掌握了一定的反反爬经验和web端的逆向技术以后，就差不多是个半吊子中级水平了。

此时若你能逆向出知乎web端的加密cookie，那恭喜你，已经学至中级水平。

中级水平到高级水平之间隔着100个半吊子中级水平。要想成为一流的爬虫工程师，你还得继续系统地学习加密算法，软件加固，安卓逆向，大规模分布式爬虫，甚至机器学习算法等。成神的路很遥远，没有三五年时间，难以实现。

以下这套教程，入门Python爬虫足够了。

第一章: 初学乍练-Python快速入门

• 1.1节: 搭建Python开发环境 (2021-02-02)
• 1.2节: 变量与对象 (2021-02-05)
• 1.3节: 数据类型 (2024-06-18)
• 1.4节: 数据运算 (2024-06-19)
• 1.5节: 控制结构 (2024-06-19)
• 1.6节: 函数基础 (2024-06-19)
• 1.7节: 面向对象 (2024-06-19)

第二章: 初窥门径-从全局把握网络爬虫

• 2.1节: 网络爬虫核心原理 (2021-02-05)
• 2.2节: 轻松入门HTTP协议 (2021-02-06)
• 2.3节: 使用requests发起HTTP请求 (2021-02-07)

第三章: 爬虫数据-网页与JSON

• 3.1节: 超文本标记语言HTML (2021-02-08)
• 3.2节: 层叠样式表CSS (2021-02-16)
• 3.3节: 数据交换格式JSON (2021-02-17)

第四章: 爬虫核心-HTTP协议

• 4.1节: 爬虫与浏览器 (2021-02-19)
• 4.2节: HTTP是无状态协议 (2021-02-19)
• 4.3节: 爬虫之匿-HTTP代理 (2021-02-20)
• 4.4节: 加密数据传输HTTPS (2021-02-22)

第五章: 手到擒来-数据的抓包

• 5.1节: 使用chrome浏览器抓包 (2021-02-23)
• 5.2节: 抓包神器FiddlerEverywhere (2021-03-01)

第六章: 利刃出鞘-HTTP请求库

• 6.1节: 抓包后的请求模拟 (2021-03-03)
• 6.2节: URL的读取与解析-urllib (2021-03-05)
• 6.3节: 高效的HTTP请求库：requests (2021-03-08)

第七章: 尘埃落定-数据的解析

• 7.1节：使用正则表达式解析网页 (2021-03-09)
• 7.2节：使用lxml解析网页 (2021-03-15)
• 7.3节：使用BeautifulSoup解析网页 (2021-03-15)
• 7.4节：爬虫实战-模拟github登录 (2021-06-17)

第八章: 逆向初探-JS逆向

• 8.1节：前端常用加密算法 (2021-03-15)
• 8.2节：浅析JS逆向 (2021-03-15)
• 8.3节：爬虫实战-模拟CSDN登陆 (2021-06-21)

第九章: 爬虫进阶-Selenium, 中间人拦截

• 9.1节：爬虫利器-Selenium (2021-06-21)
• 9.2节：HTTP拦截-mitmproxy (2021-06-22)

第十章：斗转星移-常用的反爬策略及应对方法

• 10.1节：针对HTTP请求头的反爬 (2021-06-22)
• 10.2节：对爬虫IP进行封禁 (2021-06-24)
• 10.3节：使用验证码进行反爬 (2021-06-24)
• 10.4节：针对selenium的指纹识别 (2021-06-24)