最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

Python爬虫——简单网页抓取(实战案例)小白篇_python爬虫爬取网页数据

业界 admin 15浏览 0评论

**推荐使用request()来进行访问的,因为使用request()来进行访问有两点好处:**


* 可以直接进行post请求,不需要将 data参数转换成JSON格式
* 直接进行GET请求,不需要自己拼接url参数


![](https://img-blog.csdnimg/img_convert/13e1a324bad638e4f3af07d953d27f45.jpeg)


如果只进行基本的爬虫网页抓取,那么urllib足够用了。


**Requests库**


requests库是一个常用于http请求的模块,可以方便的对网页进行爬取,是学习python爬虫比较好的http请求模块,比urllib库更加简洁,并且自带json解析器。


掌握了它,Cookies、登录验证、代理设置等操作都不是事儿。


**1)request提供的方法**


![](https://img-blog.csdnimg/img_convert/1de0d2f3c24cffb6934617e831ce93ed.jpeg)



get(url,params,**kwargs)


* url: 需要爬取的网站地址。
* params: url中的额外参数,字典或者字节流格式,可选。
* \*\*kwargs : 控制访问的参数



post(url, data=None, json=None, **kwargs):


* url: 需要爬取的网站地址。
* data:传递的内容。
* json:json格式传递的内容
* \*\*kwargs : 控制访问的参数



request(method, url, **kwargs):


* method:需要使用的方法
* url:爬行的路径
* \*\*kwargs : 控制访问的参数


**2)控制访问的参数**


![](https://img-blog.csdnimg/img_convert/61b5ee52b4a117ef2ba8606f94460a9d.jpeg)


通过上面方法返回的是一个Response对象,该对象有以下这些属性和方法:


![](https://img-blog.csdnimg/img_convert/3e46f8f17371cf72c4a06b36cee3f598.jpeg)


**requests的优势在于使用简单,相同一个功能,用requests实现起来代码量要少很多。**


戳这里可获取相关的Python基础学习资料哦↓↓↓


**下面的所有资料我全部打包好了并且上传至CSDN官方,需要的点击            
                
                    
                    

**推荐使用request()来进行访问的,因为使用request()来进行访问有两点好处:**


* 可以直接进行post请求,不需要将 data参数转换成JSON格式
* 直接进行GET请求,不需要自己拼接url参数


![](https://img-blog.csdnimg/img_convert/13e1a324bad638e4f3af07d953d27f45.jpeg)


如果只进行基本的爬虫网页抓取,那么urllib足够用了。


**Requests库**


requests库是一个常用于http请求的模块,可以方便的对网页进行爬取,是学习python爬虫比较好的http请求模块,比urllib库更加简洁,并且自带json解析器。


掌握了它,Cookies、登录验证、代理设置等操作都不是事儿。


**1)request提供的方法**


![](https://img-blog.csdnimg/img_convert/1de0d2f3c24cffb6934617e831ce93ed.jpeg)



get(url,params,**kwargs)


* url: 需要爬取的网站地址。
* params: url中的额外参数,字典或者字节流格式,可选。
* \*\*kwargs : 控制访问的参数



post(url, data=None, json=None, **kwargs):


* url: 需要爬取的网站地址。
* data:传递的内容。
* json:json格式传递的内容
* \*\*kwargs : 控制访问的参数



request(method, url, **kwargs):


* method:需要使用的方法
* url:爬行的路径
* \*\*kwargs : 控制访问的参数


**2)控制访问的参数**


![](https://img-blog.csdnimg/img_convert/61b5ee52b4a117ef2ba8606f94460a9d.jpeg)


通过上面方法返回的是一个Response对象,该对象有以下这些属性和方法:


![](https://img-blog.csdnimg/img_convert/3e46f8f17371cf72c4a06b36cee3f598.jpeg)


**requests的优势在于使用简单,相同一个功能,用requests实现起来代码量要少很多。**


戳这里可获取相关的Python基础学习资料哦↓↓↓


**下面的所有资料我全部打包好了并且上传至CSDN官方,需要的点击                
                
            

与本文相关的文章

发布评论

评论列表 (0)

  1. 暂无评论