最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

100天精通Python(爬虫篇)——第118天:selenium自动化操作浏览器基础大总结

业界 admin 2浏览 0评论


文章目录

  • 一、Selenium框架环境搭建
    • 1. 下载模块
    • 2. 安装浏览器驱动WebDriver
  • 二、基础操作
    • 1. 打开浏览器
    • 2. 无界面模式
    • 3. 元素定位
    • 4. 元素操作
    • 5. 前进后退
    • 6. 执行js
    • 7.页面等待
      • 隐式等待(常用)
      • 显式等待(了解)
  • 三、进阶操作
    • 1. 使用代理ip
    • 2. 修改请求头
    • 3. 隐藏浏览器指纹特征
      • 正确情况
      • 无界面模式
      • 脚本代码

一、Selenium框架环境搭建

Selenium 是一个用于测试 Web 应用程序的框架,该框架测试直接在浏览器中运行,就像真实用户操作一样。在爬虫领域 selenium 同样是一把利器,能够解决大部分的网页的反爬问题。Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。

1. 下载模块

1. window电脑点击win键+ R,输入:cmd

2. 安装selenium,输入对应的pip命令pip install selenium


文章目录

  • 一、Selenium框架环境搭建
    • 1. 下载模块
    • 2. 安装浏览器驱动WebDriver
  • 二、基础操作
    • 1. 打开浏览器
    • 2. 无界面模式
    • 3. 元素定位
    • 4. 元素操作
    • 5. 前进后退
    • 6. 执行js
    • 7.页面等待
      • 隐式等待(常用)
      • 显式等待(了解)
  • 三、进阶操作
    • 1. 使用代理ip
    • 2. 修改请求头
    • 3. 隐藏浏览器指纹特征
      • 正确情况
      • 无界面模式
      • 脚本代码

一、Selenium框架环境搭建

Selenium 是一个用于测试 Web 应用程序的框架,该框架测试直接在浏览器中运行,就像真实用户操作一样。在爬虫领域 selenium 同样是一把利器,能够解决大部分的网页的反爬问题。Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。

1. 下载模块

1. window电脑点击win键+ R,输入:cmd

2. 安装selenium,输入对应的pip命令pip install selenium

发布评论

评论列表 (0)

  1. 暂无评论