Scrapy框架的安装
安装指南¶
支持的 Python 版本¶
Scrapy 需要 Python 3.8+,CPython 实现(默认)或 PyPy 实现(请参阅备用实现)。
安装 Scrapy¶
如果您使用的是 Anaconda 或 Miniconda,则可以从 conda-forge 频道,其中包含适用于 Linux、Windows 的最新软件包 和 macOS。
要使用 ,请运行:conda
conda install -c conda-forge scrapy
或者,如果你已经熟悉 Python 包的安装, 您可以使用以下命令从 PyPI 安装 Scrapy 及其依赖项:
pip install Scrapy
我们强烈建议您将 Scrapy 安装在专用的 virtualenv 中, 以避免与系统软件包冲突。
请注意,有时这可能需要解决某些 Scrapy 的编译问题 依赖项取决于您的操作系统,因此请务必查看特定于平台的安装说明。
有关更详细和平台特定的说明,以及 疑难解答信息,请继续阅读。
值得了解的事情¶
Scrapy 是用纯 Python 编写的,依赖于几个关键的 Python 包(以及其他包):
- lxml,一个高效的 XML 和 HTML 解析器
- parsel,一个写在 lxml 之上的 HTML/XML 数据提取库,
- w3lib,一个用于处理 URL 和网页编码的多用途帮助程序
- Twisted,异步网络框架
- 密码学和pyOpenSSL,以应对各种网络级安全需求
其中一些包本身依赖于非 Python 包 这可能需要额外的安装步骤,具体取决于您的平台。 请查看下面的平台特定指南。
如果出现与这些依赖项相关的任何问题&
Scrapy框架的安装
安装指南¶
支持的 Python 版本¶
Scrapy 需要 Python 3.8+,CPython 实现(默认)或 PyPy 实现(请参阅备用实现)。
安装 Scrapy¶
如果您使用的是 Anaconda 或 Miniconda,则可以从 conda-forge 频道,其中包含适用于 Linux、Windows 的最新软件包 和 macOS。
要使用 ,请运行:conda
conda install -c conda-forge scrapy
或者,如果你已经熟悉 Python 包的安装, 您可以使用以下命令从 PyPI 安装 Scrapy 及其依赖项:
pip install Scrapy
我们强烈建议您将 Scrapy 安装在专用的 virtualenv 中, 以避免与系统软件包冲突。
请注意,有时这可能需要解决某些 Scrapy 的编译问题 依赖项取决于您的操作系统,因此请务必查看特定于平台的安装说明。
有关更详细和平台特定的说明,以及 疑难解答信息,请继续阅读。
值得了解的事情¶
Scrapy 是用纯 Python 编写的,依赖于几个关键的 Python 包(以及其他包):
- lxml,一个高效的 XML 和 HTML 解析器
- parsel,一个写在 lxml 之上的 HTML/XML 数据提取库,
- w3lib,一个用于处理 URL 和网页编码的多用途帮助程序
- Twisted,异步网络框架
- 密码学和pyOpenSSL,以应对各种网络级安全需求
其中一些包本身依赖于非 Python 包 这可能需要额外的安装步骤,具体取决于您的平台。 请查看下面的平台特定指南。
如果出现与这些依赖项相关的任何问题&