文章目录
- 一、Selenium框架环境搭建
-
- 1. 下载模块
- 2. 安装浏览器驱动WebDriver
- 二、基础操作
-
- 1. 打开浏览器
- 2. 无界面模式
- 3. 元素定位
- 4. 元素操作
- 5. 前进后退
- 6. 执行js
- 7.页面等待
-
- 隐式等待(常用)
- 显式等待(了解)
- 三、进阶操作
-
- 1. 使用代理ip
- 2. 修改请求头
- 3. 隐藏浏览器指纹特征
-
- 正确情况
- 无界面模式
- 脚本代码
一、Selenium框架环境搭建
Selenium 是一个用于测试 Web 应用程序的框架,该框架测试直接在浏览器中运行,就像真实用户操作一样。在爬虫领域 selenium 同样是一把利器,能够解决大部分的网页的反爬问题。Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。
1. 下载模块
1. window电脑点击win键+ R
,输入:cmd
2. 安装selenium
,输入对应的pip命令:pip install selenium
文章目录
- 一、Selenium框架环境搭建
-
- 1. 下载模块
- 2. 安装浏览器驱动WebDriver
- 二、基础操作
-
- 1. 打开浏览器
- 2. 无界面模式
- 3. 元素定位
- 4. 元素操作
- 5. 前进后退
- 6. 执行js
- 7.页面等待
-
- 隐式等待(常用)
- 显式等待(了解)
- 三、进阶操作
-
- 1. 使用代理ip
- 2. 修改请求头
- 3. 隐藏浏览器指纹特征
-
- 正确情况
- 无界面模式
- 脚本代码
一、Selenium框架环境搭建
Selenium 是一个用于测试 Web 应用程序的框架,该框架测试直接在浏览器中运行,就像真实用户操作一样。在爬虫领域 selenium 同样是一把利器,能够解决大部分的网页的反爬问题。Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。
1. 下载模块
1. window电脑点击win键+ R
,输入:cmd
2. 安装selenium
,输入对应的pip命令:pip install selenium