1. 问题背景
今天在使用langchain的时候运行如下代码报错
import os
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.document_loaders import WebBaseLoader # USER_AGENT environment variable not set, consider setting it to identify your requests.
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "lsv2_pt_40dxxxxxxxx"
llm = ChatOpenAI(
model="Qwen2-72B-Instruct",
temperature=0,
api_key= "123",
base_url="http://xxxxx:8001/v1"
)
messages = [ SystemMessage(content="Translate the following from English into chinese"), HumanMessage(content="hi!"),]
result = llm.invoke(messages)
print("result: {}".format(result))
输出如下:
USER_AGENT environment variable not set, consider setting it to identify your requests.
2. 出错原因
from langchain_community.document_loaders import WebBaseLoader
# USER_AGENT environment variable not set, consider setting it to identify your requests.
这个错误消息提示你在使用 WebBaseLoader 导入包时，USER_AGENT 环境变量未设置。USER_AGENT 是一个用于标识请求来源的字符串，通常在发送 HTTP 请求时，服务器会根据 USER_AGENT 来判断请求是来自于哪个浏览器或客户端。
3. 解决方法
代码中设置USER_AGENT, 注意设置USER_AGENT的代码一定要放在WebBaseLoader 这个包前面，不然还是会报错
import os
os.environ['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.document_loaders import WebBaseLoader # USER_AGENT environment variable not set, consider setting it to identify your requests.
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "lsv2_pt_40dxxxxxxxx"
llm = ChatOpenAI(
model="Qwen2-72B-Instruct",
temperature=0,
api_key= "123",
base_url="http://xxxxx:8001/v1"
)
messages = [ SystemMessage(content="Translate the following from English into chinese"), HumanMessage(content="hi!"),]
result = llm.invoke(messages)
print("result: {}".format(result))
4. 总结：
你可以通过设置 USER_AGENT 环境变量来解决这个问题。以下是如何在不同环境下设置 USER_AGENT 环境变量的方法：
1. 在代码中设置 USER_AGENT 环境变量：
你可以直接在代码中设置环境变量：
import os
os.environ['USER_AGENT'] = 'YourCustomUserAgent'
from langchain_community.document_loaders import WebBaseLoader
将 "YourCustomUserAgent" 替换为你想要设置的 USER_AGENT 字符串。例如：
os.environ['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
2. 在操作系统的命令行中设置 USER_AGENT 环境变量：
-
Windows:
set USER_AGENT=YourCustomUserAgent -
Linux/macOS:
export USER_AGENT="YourCustomUserAgent"
然后再运行你的 Python 脚本。
3. 在 .env 文件中设置 USER_AGENT 环境变量：
如果你使用的是 python-dotenv，你可以在项目的 .env 文件中添加：
USER_AGENT=YourCustomUserAgent
然后在代码中加载环境变量：
from dotenv import load_dotenv
load_dotenv()
from langchain_community.document_loaders import WebBaseLoader
选择合适的 USER_AGENT 字符串：
通常，USER_AGENT 可以是一个标准的浏览器标识，例如：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3
这将告诉服务器你的请求是来自一个 Chrome 浏览器。
通过设置 USER_AGENT，你可以解决这个错误并继续使用 WebBaseLoader 进行文档加载。
1. 问题背景
今天在使用langchain的时候运行如下代码报错
import os
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.document_loaders import WebBaseLoader # USER_AGENT environment variable not set, consider setting it to identify your requests.
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "lsv2_pt_40dxxxxxxxx"
llm = ChatOpenAI(
model="Qwen2-72B-Instruct",
temperature=0,
api_key= "123",
base_url="http://xxxxx:8001/v1"
)
messages = [ SystemMessage(content="Translate the following from English into chinese"), HumanMessage(content="hi!"),]
result = llm.invoke(messages)
print("result: {}".format(result))
输出如下:
USER_AGENT environment variable not set, consider setting it to identify your requests.
2. 出错原因
from langchain_community.document_loaders import WebBaseLoader
# USER_AGENT environment variable not set, consider setting it to identify your requests.
这个错误消息提示你在使用 WebBaseLoader 导入包时，USER_AGENT 环境变量未设置。USER_AGENT 是一个用于标识请求来源的字符串，通常在发送 HTTP 请求时，服务器会根据 USER_AGENT 来判断请求是来自于哪个浏览器或客户端。
3. 解决方法
代码中设置USER_AGENT, 注意设置USER_AGENT的代码一定要放在WebBaseLoader 这个包前面，不然还是会报错
import os
os.environ['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.document_loaders import WebBaseLoader # USER_AGENT environment variable not set, consider setting it to identify your requests.
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "lsv2_pt_40dxxxxxxxx"
llm = ChatOpenAI(
model="Qwen2-72B-Instruct",
temperature=0,
api_key= "123",
base_url="http://xxxxx:8001/v1"
)
messages = [ SystemMessage(content="Translate the following from English into chinese"), HumanMessage(content="hi!"),]
result = llm.invoke(messages)
print("result: {}".format(result))
4. 总结：
你可以通过设置 USER_AGENT 环境变量来解决这个问题。以下是如何在不同环境下设置 USER_AGENT 环境变量的方法：
1. 在代码中设置 USER_AGENT 环境变量：
你可以直接在代码中设置环境变量：
import os
os.environ['USER_AGENT'] = 'YourCustomUserAgent'
from langchain_community.document_loaders import WebBaseLoader
将 "YourCustomUserAgent" 替换为你想要设置的 USER_AGENT 字符串。例如：
os.environ['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
2. 在操作系统的命令行中设置 USER_AGENT 环境变量：
-
Windows:
set USER_AGENT=YourCustomUserAgent -
Linux/macOS:
export USER_AGENT="YourCustomUserAgent"
然后再运行你的 Python 脚本。
3. 在 .env 文件中设置 USER_AGENT 环境变量：
如果你使用的是 python-dotenv，你可以在项目的 .env 文件中添加：
USER_AGENT=YourCustomUserAgent
然后在代码中加载环境变量：
from dotenv import load_dotenv
load_dotenv()
from langchain_community.document_loaders import WebBaseLoader
选择合适的 USER_AGENT 字符串：
通常，USER_AGENT 可以是一个标准的浏览器标识，例如：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3
这将告诉服务器你的请求是来自一个 Chrome 浏览器。
通过设置 USER_AGENT，你可以解决这个错误并继续使用 WebBaseLoader 进行文档加载。