最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

python爬虫之网页加载模式(同步和异步)及浏览器抓包数据文件分析(4)

业界 admin 14浏览 0评论

文章目录

  • 1、网页加载模式
    • 1.1 同步加载
    • 1.2 异步加载
  • 2、网页数据返回的方式
  • 3、区分同步网站和异步网站
  • 4、浏览器抓取数据包分析
  • 5、常用反爬手段(代理和UA)

1、网页加载模式

网页的加载模式通常有两种,同步加载异步加载;两种加载模式都有各自的优缺点

1.1 同步加载

介绍:

同步加载,又称阻塞加载,浏览器在访问到第一个页面后便会停止对后续文件的加载,也就是阻止了包括图像、渲染、代码的执行

原理:

同步加载的网站都是按顺序依次加载出网页内容,前面的内容没有加载出,后续内容就不会显示,因此网页加载的速度大大降低

1.2 异步加载

介绍:

异步加载,又称非阻塞加载,浏览器在加载第一个网页的同时,还会继续进行对后面页面的处理

原理:

异步加载的网站内容是可以实时刷新的,当我们需要查看后续页面的内容,浏览器会提前加载出下一页内容;相比同步加

文章目录

  • 1、网页加载模式
    • 1.1 同步加载
    • 1.2 异步加载
  • 2、网页数据返回的方式
  • 3、区分同步网站和异步网站
  • 4、浏览器抓取数据包分析
  • 5、常用反爬手段(代理和UA)

1、网页加载模式

网页的加载模式通常有两种,同步加载异步加载;两种加载模式都有各自的优缺点

1.1 同步加载

介绍:

同步加载,又称阻塞加载,浏览器在访问到第一个页面后便会停止对后续文件的加载,也就是阻止了包括图像、渲染、代码的执行

原理:

同步加载的网站都是按顺序依次加载出网页内容,前面的内容没有加载出,后续内容就不会显示,因此网页加载的速度大大降低

1.2 异步加载

介绍:

异步加载,又称非阻塞加载,浏览器在加载第一个网页的同时,还会继续进行对后面页面的处理

原理:

异步加载的网站内容是可以实时刷新的,当我们需要查看后续页面的内容,浏览器会提前加载出下一页内容;相比同步加

发布评论

评论列表 (0)

  1. 暂无评论