有哪些有趣的反爬虫手段？

fromseleniumimportwedriver fromselenium.wedrivermon.yimporty fromselenium.wedriver.support.uiimportWeDriverWait fromselenium.wedriver.supportimportexpected_conditionsasEC importtime driver=wedriver.Chrome() driver.get("你的网页L") #使用显式等待等待某个元素可见 try: element=WeDriverWait(driver,10).until( EC.presence_of_element_located((y.ID,"someElementId")) ) #对元素进行作... element.click() exceptExceptionase: print(e) #在需要的时候使用time.sleep()增加额外的延迟 #例如，在两次请求之间等待 time.sleep(2)#等待2秒 #继续执行作... #脚本结束前关闭浏览器 driver.quit()

7.伪装浏览器指纹

浏览器指纹是指浏览器在访问时展现的一系列特征，如作、浏览器类型、分辨率、字体列表、插件列表等。这些特征可以被用来识别用户或区分爬虫与实用户。为了伪装浏览器指纹，可以使用一些高级技术，如使用SeleniumWeDriver的模拟浏览器指纹插件或自行修改WeDriver的源代码。

然而，这些方法通常较复杂且需要较高的技术门槛，且随着反爬虫技术的升级，伪装浏览器指纹的有效性也会逐渐降低。

8.遵守roots.txt协议

虽然Selenium主要用于自动化和爬虫开发，但如果你正在使用Selenium来抓取数据，那么遵守该的roots.txt协议是非常重要的。roots.txt文件是一个文本文件，它告诉搜索引擎哪些页面可以抓取，哪些不可以。虽然roots.txt协议主要针对搜索引擎，但遵守它也是对所有者权益的尊重，并有助于避免法律纠纷。

9.监控与调试

在开发Selenium脚本时，监控和调试是必不可少的环节。你可以使用Selenium的志功能来记录脚本运行过程中的详细信息，或者使用浏览器的开发者工具来调试页面和脚本。此外，还可以使用一些第三方工具来监控网络请求和响应，以便及时发现和解决问题。

三、Selenium自动化防爬参数配置

为了避免Chrome浏览器在自动化时显示被控制的提示，可以通过配置add_argument来实现。

1、<>禁用自动化检测功能：

​importtime fromselenium.wedrivermon.yimporty fromseleniumimportwedriver fromselenium.wedriver.chrome.optionsimportOptions chrome_options=Options() #禁用浏览器自动化检测功能，使浏览器无法检测到它是被自动化工具控制的。 chrome_options.add_argument("--disale-link-feates=AutomationControlled") #启动Chrome浏览器 driver=wedriver.Chrome(options=chrome_options) #打开 driver.get('s://aidu/') #等待10秒（非必须，只是为了演示） time.sleep(10) #关闭浏览器 driver.quit()

"--disale-link-feates=AutomationControlled"是一个传递给Chrome浏览器的命令行参数，其目的是为了绕过或禁用Chrome浏览器内置的一种自动化检测机制。

Chrome浏览器（及其底层的link渲染引擎）包含一些用于检测浏览器是否被自动化工具（如SeleniumWeDriver）控制的特性。这些特性可以帮助区分正的用户访问和自动化脚本的访问。当检测到自动化工具时，可能会采取一些措施，如访问、增加验证码等，来防止自动化脚本的滥用。

"--disale-link-feates=AutomationControlled"参数的作用就是尝试禁用这种自动化检测特性。通过禁用这个特性，你的Selenium自动化脚本可能能够更顺利地模拟用户行为，而不被的反爬机制轻易识别出来。

然而，需要注意的是，这种方法的有效性可能会随着Chrome浏览器版本的更新而变化。Chrome浏览器的开发者可能会修复或改进这些特性，以更好地检测和阻止自动化脚本。因此，如果你发现这个参数不再有效，可能需要寻找方法或等待Selenium的更新来支持新的反检测策略。

2、<>禁用Chrome的自动化扩展：

importtime fromselenium.wedrivermon.yimporty fromseleniumimportwedriver fromselenium.wedriver.chrome.optionsimportOptions chrome_options=Options() #禁用Chrome的自动化扩展，这有助于减少被检测到的风险。 chrome_options.add_experimental_option('useAutomationExtension',False) #启动Chrome浏览器 driver=wedriver.Chrome(options=chrome_options) #打开 driver.get('s://aidu/') #等待10秒（非必须，只是为了演示） time.sleep(10) #关闭浏览器 driver.quit()

useAutomationExtension的作用是尝试禁用或绕过浏览器内部与自动化工具检测相关的某种机制或扩展。通过将useAutomationExtension设置为False，代码试图告诉浏览器不要使用或加载与自动化控制相关的特定扩展或功能。

3、关闭浏览器显示正受到自动化的控制

使用参数之前

​

使用参数之后

​

浏览器不再显示正受到自动软件的控制

importtime fromselenium.wedrivermon.yimporty fromseleniumimportwedriver fromselenium.wedriver.chrome.optionsimportOptions chrome_options=Options() #从Chrome的启动参数中排除enale-automation开关，进一步防止浏览器显示被控制的提示。 chrome_options.add_experimental_option('excludeSwitches',['enale-automation']) #启动Chrome浏览器 driver=wedriver.Chrome(options=chrome_options) #打开 driver.get('s://aidu/') #等待10秒（非必须，只是为了演示） time.sleep(10) #关闭浏览器 driver.quit()

enale-automation是Chrome的一个内部标志，当ChromeDriver启动Chrome浏览器时，它通常会被自动启用。这个标志的存在可能会告诉或网页上的脚本，浏览器正在被自动化工具控制。一些会使用这种检测机制来阻止自动化脚本的执行，或者提供与正常用户不同的体验。

通过excludeSwitches选项排除enale-automation，你试图让浏览器在启动时表现得更加“正常”，即不向透露它正在被自动化工具控制。这有助于绕过一些基于enale-automation标志存在的自动化检测机制。

然而，需要注意的是，这种方法的有效性可能会随着Chrome和ChromeDriver的更新而发生变化。浏览器开发者可能会不断改进其自动化检测机制，使得基于排除特定开关的方法来绕过检测变得不再有效。

4、<>启用无头模式：

importtime fromselenium.wedrivermon.yimporty fromseleniumimportwedriver fromselenium.wedriver.chrome.optionsimportOptions chrome_options=Options() #启用无头模式，使Chrome在后台运行，没有可视化窗口。这不仅可以避免被检测，还可以提高效率，因为不需要加载和渲染UI界面。 chrome_options.add_argument("--headless") #启动Chrome浏览器 driver=wedriver.Chrome(options=chrome_options) #打开 driver.get('s://aidu/') #等待10秒（非必须，只是为了演示） time.sleep(10) #关闭浏览器 driver.quit()

"--headless"是一个命令行参数，用于指示浏览器在无头（headless）模式下运行。在无头模式下，浏览器不会显示图形用户界面（GUI），即它不会在屏幕上显示窗口。这意味着浏览器可以在没有物理显示的情况下运行，这对于自动化、端渲染、爬虫等场景非常有用，因为它们不需要图形界面来执行任务。

使用options.add_argument("--headless")配置浏览器后，当你启动浏览器时，它将在无头模式下运行，执行你指定的任务，但不会显示任何窗口或界面。这对于自动化脚本来说非常有用，因为它可以减少对资源的需求（如屏幕和图形处理），并且可以在没有图形界面的或容器中运行。

5、<>禁用GPU加速：

importtime fromselenium.wedrivermon.yimporty fromseleniumimportwedriver fromselenium.wedriver.chrome.optionsimportOptions chrome_options=Options() #在某些情况下，特别是Linux上，可能需要禁用GPU加速，以确保无头模式能正常工作。 chrome_options.add_argument("--disale-gpu") #启动Chrome浏览器 driver=wedriver.Chrome(options=chrome_options) #打开 driver.get('s://aidu/') #等待10秒（非必须，只是为了演示） time.sleep(10) #关闭浏览器 driver.quit()

"--disale-gpu"是一个命令行参数，用于指示Chrome浏览器在启动时禁用GPU加速。GPU加速是浏览器利用计算机的图形处理单元（GPU）来加速页面渲染和图形密集型任务的过程。然而，在某些情况下，GPU加速可能会导致问题，如性能下降、崩溃或渲染错误。

通过在ChromeOptions中添加"--disale-gpu"参数，你告诉浏览器在启动时不要使用GPU加速。这通常用于解决与GPU相关的兼容性问题或性能问题，特别是在自动化、远程桌面会话、虚拟机或某些特定的硬件配置上。

四、结尾

通过这篇文章给大家分享我在学习过程中的一些经验和心得，希望能够对大家有所帮助，同时也接受大家的建议和意见，共同进步、共同学习。

如果你觉得我的文章对你有所帮助，我诚挚地邀请你关注、点赞和分享。

://weixin./r/mp/-hIvN8DEVZ0qrYRU90fs(二维码自动识别)

END

免责声明：本文由卡卷网编辑并发布，但不代表本站的观点和立场，只提供分享给大家。

评论 打赏

• 支付宝扫一扫
• 微信扫一扫
• 企鹅扫一扫

• 上一篇：存号码，究竟该用int类型还是string类型？
• 下一篇：现在的Ja后端应用开发人员，脱离了Spring框架还会开发么？

卡卷网 主页 联系他吧

请记住:卡卷网 Www.Kajuan.Net

相关推荐

• 中国CEO直播简史
• 网传玄戒 O1 是向 Arm 定制的芯片，小米公司回应「完全是谣言」，哪些信息值得关注？
• 照骗能骗到什么程度？
• 大神们华南x99ad4主板上Rtx2060 12g如何？
• 为什么以前觉得骁龙660这种中端处理器已经很厉害了，现在觉得不是骁龙8系处理器的手机都看不上？
• 27寸显示器有必要上4K吗？
• 免费云服务器哪家好用？
• 为什么感觉腾讯的风评越来越好了？

取消回复欢迎 你 发表评论:

最新文章

• 网传玄戒 O1 是向 Arm 定制的芯片，小米公司回应「完全是谣言」，哪些信息值得关注？
• 照骗能骗到什么程度？
• 大神们华南x99ad4主板上Rtx2060 12g如何？
• 为什么以前觉得骁龙660这种中端处理器已经很厉害了，现在觉得不是骁龙8系处理器的手机都看不上？
• 27寸显示器有必要上4K吗？
• 免费云服务器哪家好用？
• 为什么感觉腾讯的风评越来越好了？
• 讲讲大家线下德州被杀猪的经历吧？
• 目前有和DNF同类型，质量能超过DNF的游戏吗?
• 现在小白能买AMD的CPU了吗?

随机文章

• SQL的不上MySQL吗？
• 一个人在杭州如何过个有趣的周末？
• 为什么苹果贵没人喷，华为贵一群人喷？
• 是什么原因让你一定要用 iPhone？
• 从没接触过PS的人，想学PS要多久才能学会？
• 可以分享一下你的浏览器收藏夹么？
• thinkphp开发的竞拍网程序源码包含数据字典演示图和流程图
• 2K 240Hz 的 OLED 显示器已经卷到 3K以内了，高端TN/IPS游戏显示器还有购买意义么？
• 为什么 ChatGPT 不火了？
• 如果你的nodejs和go的水平差不多，面对大型，中型和小型项目(要求稳定性第一)，你会选择哪个语言？

广告位

Copyright © 2024 Www.Kajuan.Net Corporation, All Rights Reserved 卡卷网版权所有

标签大全 Sitemap 成长史 留言板 广告合作 关于我们 鄂ICP备14005651号-8