你的位置：
首页
>
业界
>
Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据
**推荐使用request()来进行访问的，因为使用request()来进行访问有两点好处：**
* 可以直接进行post请求，不需要将 data参数转换成JSON格式
* 直接进行GET请求，不需要自己拼接url参数
如果只进行基本的爬虫网页抓取，那么urllib足够用了。
**Requests库**
requests库是一个常用于http请求的模块，可以方便的对网页进行爬取，是学习python爬虫比较好的http请求模块，比urllib库更加简洁，并且自带json解析器。
掌握了它，Cookies、登录验证、代理设置等操作都不是事儿。
**1）request提供的方法**
get(url,params,**kwargs)
* url: 需要爬取的网站地址。
* params: url中的额外参数，字典或者字节流格式，可选。
* \*\*kwargs : 控制访问的参数
post(url, data=None, json=None, **kwargs):
* url: 需要爬取的网站地址。
* data:传递的内容。
* json:json格式传递的内容
* \*\*kwargs : 控制访问的参数
request(method, url, **kwargs):
* method:需要使用的方法
* url：爬行的路径
* \*\*kwargs : 控制访问的参数
**2）控制访问的参数**
通过上面方法返回的是一个Response对象，该对象有以下这些属性和方法：
**requests的优势在于使用简单，相同一个功能，用requests实现起来代码量要少很多。**
戳这里可获取相关的Python基础学习资料哦↓↓↓
**下面的所有资料我全部打包好了并且上传至CSDN官方，需要的点击
**推荐使用request()来进行访问的，因为使用request()来进行访问有两点好处：**
* 可以直接进行post请求，不需要将 data参数转换成JSON格式
* 直接进行GET请求，不需要自己拼接url参数
如果只进行基本的爬虫网页抓取，那么urllib足够用了。
**Requests库**
requests库是一个常用于http请求的模块，可以方便的对网页进行爬取，是学习python爬虫比较好的http请求模块，比urllib库更加简洁，并且自带json解析器。
掌握了它，Cookies、登录验证、代理设置等操作都不是事儿。
**1）request提供的方法**
get(url,params,**kwargs)
* url: 需要爬取的网站地址。
* params: url中的额外参数，字典或者字节流格式，可选。
* \*\*kwargs : 控制访问的参数
post(url, data=None, json=None, **kwargs):
* url: 需要爬取的网站地址。
* data:传递的内容。
* json:json格式传递的内容
* \*\*kwargs : 控制访问的参数
request(method, url, **kwargs):
* method:需要使用的方法
* url：爬行的路径
* \*\*kwargs : 控制访问的参数
**2）控制访问的参数**
通过上面方法返回的是一个Response对象，该对象有以下这些属性和方法：
**requests的优势在于使用简单，相同一个功能，用requests实现起来代码量要少很多。**
戳这里可获取相关的Python基础学习资料哦↓↓↓
**下面的所有资料我全部打包好了并且上传至CSDN官方，需要的点击