文章目录
- 一、目的分析
- 二、爬取页面商品所有详情页链接
-
-
-
- 1、爬取href链接
- 2.将数据存入数据库
- 完整代码：
-
-
- 三、多线程优化版已完成
-
-
- （多线程优化）爬取京东笔记本电脑销量榜data-sku(商品id)，并存入云服务器中的mysql库（爬取时间较上一版提升十多倍）
-
一、目的分析
1、京东搜索笔记本电脑字段，按销量由高到低排序，该网页作为开始url，爬取100页数据，共计 5 (个) *12（行）*100（页）= 6000（条）数据。
2、数据为各个项目详情页中的数据，即下图中的href，可先爬取所有的href，后续再从各链接中爬取所需数据。
二、爬取页面商品所有详情页链接
即该href链接
出现的问题：京东一页数据为30项，但分半加载，即先加载15项，下滑加载后半部分，导致爬取结果仅有15项。
解决方法：爬虫爬取动态网页，滑动加载项无法爬取问题
1、爬取href链接
这里使用了selenium模块加载动态网页
观察各页url：
第一页：https://search.jd/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&click=0
第二页：https://search.jd/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&page=3&s=61&click=0
第三页：
文章目录
- 一、目的分析
- 二、爬取页面商品所有详情页链接
-
-
-
- 1、爬取href链接
- 2.将数据存入数据库
- 完整代码：
-
-
- 三、多线程优化版已完成
-
-
- （多线程优化）爬取京东笔记本电脑销量榜data-sku(商品id)，并存入云服务器中的mysql库（爬取时间较上一版提升十多倍）
-
一、目的分析
1、京东搜索笔记本电脑字段，按销量由高到低排序，该网页作为开始url，爬取100页数据，共计 5 (个) *12（行）*100（页）= 6000（条）数据。
2、数据为各个项目详情页中的数据，即下图中的href，可先爬取所有的href，后续再从各链接中爬取所需数据。
二、爬取页面商品所有详情页链接
即该href链接
出现的问题：京东一页数据为30项，但分半加载，即先加载15项，下滑加载后半部分，导致爬取结果仅有15项。
解决方法：爬虫爬取动态网页，滑动加载项无法爬取问题
1、爬取href链接
这里使用了selenium模块加载动态网页
观察各页url：
第一页：https://search.jd/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&click=0
第二页：https://search.jd/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&page=3&s=61&click=0
第三页：