在当今的网络世界中，自动化操作网页、精准获取网页信息对于开发者和数据爱好者来说至关重要。今天就来给大家分享如何使用 DrissionPage 库巧妙地完成一系列操作，包括获取指定网页的 cookie 以及精心构造请求头信息，这在模拟浏览器行为、突破部分网站反爬限制等场景中十分实用。
2025年2月7日 17:38 Ubantu 爬虫 session 部署 请求头 抓包 协议 selenium
`undetected_chromedriver` 是 Selenium 的一个补充工具，用于解决 Selenium 在自动化过程中可能遇到的被网站检测的问题。在某些情况下，当传统的 Selenium WebDriver 无法正常工作或被网站识别时，`undetected_chromedriver` 可以作为一个有效的替代方案。
2025年2月7日 17:37 or,and,not 爬虫 部署 请求头 抓包 协议 selenium Ubuntu
selenuim登录淘宝，保存cookie时遇到的问题，总而言之，一定要保证添加cookie时浏览器当前的域名和cookie中的域名是一样的，否则会添加失败抛出异常`Message: invalid cookie domain: Cookie 'domain' mismatch (Session info: chrome=110.0.5481.178)`
2024年12月9日 21:14 跨域 Python 爬虫 破解 session 请求头 抓包 协议 selenium
在现代网络环境中，许多网站都具备检测自动化工具（如爬虫）的能力，这给自动化测试和爬虫带来了挑战。Playwright 是一个强大的自动化库，它支持多种浏览器，并提供了绕过这些检测的方法。本文将解析一段使用 Playwright 和 Stealth 模式绕过网站检测的代码。
2024年12月9日 19:35 爬虫 破解 session 请求头 抓包 协议 selenium
为 Chrome 浏览器提供了一个 Selenium WebDriver 的封装版本。这个工具的主要目的是绕过网站对自动化浏览器行为的检测。许多网站使用各种技术来识别和阻止由 Selenium 或其他自动化测试工具控制的浏览器实例，因为这些网站可能希望防止自动化脚本进行诸如数据抓取、批量购买有限商品或执行其他形式的自动化操作。
2024年12月9日 16:00 Scrapy 爬虫 破解 请求头 抓包 协议 selenium
我们介绍了在当时能够正确从Selenium启动的Chrome浏览器中移除window.navigator.webdriver的方法。 后来时过境迁，Chrome升级了版本，导致当时的方法已经失效。如下图所示：
2022年8月18日 12:47 定位元素 Python Scrapy 爬虫 抓包 selenium