LangChain篇-服务部署与链路监控

一、LangServe 服务部署#

1. 概述#

LangServe 帮助开发者将 LangChain 可运行和链部署为 REST API。

该库集成了 FastAPI 并使用 pydantic 进行数据验证。

Pydantic 是一个在 Python 中用于数据验证和解析的第三方库，现在是 Python 中使用广泛的数据验证库。

它利用声明式的方式定义数据模型和 Python 类型提示的强大功能来执行数据验证和序列化，使您的代码更可靠、更可读、更简洁且更易于调试。
它还可以从模型生成 JSON 架构，提供了自动生成文档等功能，从而轻松与其他工具集成。

此外，它提供了一个客户端，可用于调用部署在服务器上的可运行对象。JavaScript 客户端可在 LangChain.js 中找到。

2. 特性#

从 LangChain 对象自动推断输入和输出模式，并在每次 API 调用中执行，提供丰富的错误信息
带有 JSONSchema 和 Swagger 的 API 文档页面（插入示例链接）
高效的 /invoke、/batch 和 /stream 端点，支持单个服务器上的多个并发请求
/stream_log 端点，用于流式传输链/代理的所有（或部分）中间步骤
新功能 自 0.0.40 版本起，支持 /stream_events，使流式传输更加简便，无需解析 /stream_log 的输出
使用经过严格测试的开源 Python 库构建，如 FastAPI、Pydantic、uvloop 和 asyncio
使用客户端 SDK 调用 LangServe 服务器，就像本地运行可运行对象一样（或直接调用 HTTP API）

3. 限制#

目前不支持服务器发起的事件的客户端回调。
当使用 Pydantic V2 时，将不会生成 OpenAPI 文档。FastAPI 支持混合使用 pydantic v1 和 v2 命名空间。更多细节请参见下面的章节。

4. 安装#

对于客户端和服务器：

1
pip install --upgrade "langserve[all]"

或者对于客户端代码，pip install "langserve[client]"；对于服务器代码，pip install "langserve[server]"。

5. LangChain CLI 🛠️#

使用 LangChain CLI 快速启动 LangServe 项目。

要使用 langchain CLI，请确保已安装最新版本的 langchain-cli。

1
pip install -U langchain-cli

6. 设置#

注意：我们使用 poetry 进行依赖管理。请参阅 poetry 文档了解更多信息。

使用 langchain cli 命令创建新应用

1
langchain app new [project_name]

在 add_routes 中定义可运行对象，转到 server.py 并编辑

1
add_routes(app. NotImplemented)

使用 poetry 添加第三方包（例如 langchain-openai、langchain-anthropic、langchain-mistral 等）

1
# 安装pipx，参考：https://pipx.pypa.io/stable/installation/
2
pip install pipx
3
# 加入到环境变量，需要重启PyCharm
4
pipx ensurepath
5

6
# 安装poetry，参考：https://python-poetry.org/docs/
7
pipx install poetry
8

9
# 安装 langchain-openai 库，例如：poetry add [package-name]
10
poetry add langchain
11
poetry add langchain-openai

设置相关环境变量。例如，

1
export OPENAI_API_KEY="sk-..."

启动您的应用

1
poetry run langchain serve --port=8000

7. 服务器#

以下是一个部署 OpenAI 聊天模型，讲述有关特定主题笑话的链的服务器。

1
#!/usr/bin/env pythonfrom fastapi import FastAPI
2
from langchain_openai import ChatOpenAI
3
from langserve import add_routes
4
app = FastAPI(
5
    title="LangChain 服务器",
6
    version="1.0",
7
    description="使用 Langchain 的 Runnable 接口的简单 API 服务器",
8
)
9
add_routes(
10
    app,
11
    ChatOpenAI(model="gpt-4"),
12
    path="/openai",
13
)
14
if name == "__main__":import uvicorn
15
    uvicorn.run(app, host="localhost", port=8000)

如果您打算从浏览器调用您的端点，您还需要设置 CORS 头。

您可以使用 FastAPI 的内置中间件来实现：

1
from fastapi.middleware.cors import CORSMiddleware
2
# 设置所有启用 CORS 的来源
3
app.add_middleware(
4
    CORSMiddleware,
5
    allow_origins=["*"],
6
    allow_credentials=True,
7
    allow_methods=["*"],
8
    allow_headers=["*"],
9
    expose_headers=["*"],
10
)

8. 文档#

如果您已部署上述服务器，可以使用以下命令查看生成的 OpenAPI 文档：

文档地址：http://localhost:8000/docs

1
curl localhost:8000/docs

请确保添加 /docs 后缀。

⚠️ 首页 / 没有被设计定义，因此 curl localhost:8000 或访问该 URL 将返回 404。如果您想在 / 上有内容，请定义一个端点 @app.get("/")。

9. 客户端#

Python SDK

1
from langchain.schema.runnable import RunnableMap
2
from langchain_core.prompts import ChatPromptTemplate
3
from langserve import RemoteRunnable
4

5
openai = RemoteRunnable("http://localhost:8000/openai/")
6
prompt = ChatPromptTemplate.from_messages(
7
    [("system", "你是一个喜欢写故事的助手"), ("system", "写一个故事，主题是： {topic}")]
8
)
9
# 可以定义自定义链
10
chain = prompt | RunnableMap({"openai": openai
11
})
12
response = chain.batch([{"topic": "猫"}])
13
print(response)
14
#[{'openai': AIMessage(content='从前，有一个叫做肖恩的男孩，他在一个宁静的乡村里生活。一天，他在家的后院发现了一个小小的，萌萌的猫咪。这只猫咪有一双大大的蓝色眼睛，毛色如同朝霞般的粉色，看起来非常可爱。\n\n肖恩把这只猫咪带回了家，他给她取名为“樱花”，因为她的毛色让他联想到春天盛开的樱花。肖恩非常喜欢樱花，他用心照顾她，每天都会为她准备新鲜的食物和清水，还会陪她玩耍，带她去散步。\n\n樱花也非常喜欢肖恩，她会在肖恩读书的时候躺在他的脚边，会在他伤心的时候安慰他，每当肖恩回家的时候，她总是第一个跑出来迎接他。可是，樱花有一个秘密，她其实是一只会说人话的猫。\n\n这个秘密是在一个月圆的夜晚被肖恩发现的。那天晚上，肖恩做了一个噩梦，他从梦中惊醒，发现樱花正坐在他的床边，用人的语言安慰他。肖恩一开始以为自己在做梦，但是当他清醒过来，樱花还在继续讲话，他才知道这是真的。\n\n樱花向肖恩解释，她是一只来自神秘的猫咪国度的使者，她的任务是保护和帮助那些善良和爱护动物的人。肖恩因为对她的善良和照顾，使她决定向他展现真实的自我。\n\n肖恩虽然感到惊讶，但他并没有因此而害怕或者排斥樱花。他觉得这只使得他更加喜欢樱花，觉得这是他们之间的特殊纽带。\n\n从那天开始，肖恩和樱花的关系变得更加亲密，他们像最好的朋友一样，分享彼此的秘密，一起度过快乐的时光。樱花也用她的智慧和力量，帮助肖恩解决了许多困扰他的问题。\n\n许多年过去了，肖恩长大了，他离开了乡村，去了城市上大学。但是，无论他走到哪里，都会带着樱花。他们的友情和互相的陪伴，让他们无论在哪里，都能感到家的温暖。\n\n最后，肖恩成为了一名作家，他写下了自己和樱花的故事，这个故事被人们广为传播，让更多的人知道了这个关于善良、友情和勇气的故事。而樱花，也永远陪伴在肖恩的身边，成为他生活中不可或缺的一部分。\n\n这就是肖恩和樱花的故事，一个关于男孩和他的猫的故事，充满了奇迹、温暖和爱。', response_metadata={'token_usage': {'completion_tokens': 1050, 'prompt_tokens': 33, 'total_tokens': 1083}, 'model_name': 'gpt-4-0613', 'system_fingerprint': None, 'finish_reason': 'stop', 'logprobs': None}, id='run-c44f1624-ea75-424b-ba3d-e741baf44bda-0', usage_metadata={'input_tokens': 33, 'output_tokens': 1050, 'total_tokens': 1083})}]

在 TypeScript 中（需要 LangChain.js 版本 0.0.166 或更高）：

1
import { RemoteRunnable } from "@langchain/core/runnables/remote";
2
const chain = new RemoteRunnable({
3
    url: `http://localhost:8000/openai/`,
4
});
5
const result = await chain.invoke({
6
    topic: "cats",
7
});

使用 requests 的 Python 代码：

1
import requests
2
response = requests.post("http://localhost:8000/openai",
3
    json={'input': {'topic': 'cats'}}
4
)
5
response.json()

您也可以使用 curl：

1
curl --location --request POST 'http://localhost:8000/openai/stream' \
2
    --header 'Content-Type: application/json' \
3
    --data-raw '{
4
        "input": {
5
            "topic": "狗"
6
        }
7
    }'

10. 端点#

以下代码：

1
...
2
add_routes(
3
    app,
4
    runnable,
5
    path="/my_runnable",
6
)

将以下端点添加到服务器：

POST /my_runnable/invoke - 对单个输入调用可运行项
POST /my_runnable/batch - 对一批输入调用可运行项
POST /my_runnable/stream - 对单个输入调用并流式传输输出
POST /my_runnable/stream_log - 对单个输入调用并流式传输输出，包括生成的中间步骤的输出
POST /my_runnable/astream_events - 对单个输入调用并在生成时流式传输事件，包括来自中间步骤的事件
GET /my_runnable/input_schema - 可运行项的输入的 JSON 模式
GET /my_runnable/output_schema - 可运行项的输出的 JSON 模式
GET /my_runnable/config_schema - 可运行项的配置的 JSON 模式

这些端点与 LangChain 表达式语言接口相匹配。

二、LangChain 服务监控#

与构建任何类型的软件一样，使用 LLM 构建时，总会有调试的需求。模型调用可能会失败，模型输出可能格式错误，或者可能存在一些嵌套的模型调用，不清楚在哪一步出现了错误的输出。有三种主要的调试方法：

详细模式（Verbose）：为你的链中的“重要”事件添加打印语句。
调试模式（Debug）：为你的链中的所有事件添加日志记录语句。
LangSmith 跟踪：将事件记录到 LangSmith，以便在那里进行可视化。

1. LangSmith Tracing（跟踪）#

使用 LangChain 构建的许多应用程序将包含多个步骤，其中包含多次 LLM 调用。随着这些应用程序变得越来越复杂，能够检查链或代理内部发生了什么变得至关重要。这样做的最佳方式是使用 LangSmith。在上面的链接上注册后，请确保设置你的环境变量以开始记录跟踪：

LangSmith 官网：https://smith.langchain.com/

tavily 官网：https://tavily.com/

1
#windows导入环境变量
2
#配置LangSmith 监控开关，true开启，false关闭
3
setx LANGCHAIN_TRACING_V2 "true"
4
#配置 LangSmith api key
5
setx LANGCHAIN_API_KEY "..."
6
#配置 taily api key
7
setx TAVILY_API_KEY "..."
8

9
#mac 导入环境变量
10
export LANGCHAIN_TRACING_V2="true"
11
export LANGCHAIN_API_KEY="..."
12
export TAVILY_API_KEY="..."

假设我们有一个代理，并且希望可视化它所采取的操作和接收到的工具输出。在没有任何调试的情况下，这是我们看到的：

1
import os
2
from langchain_openai import ChatOpenAI
3
from langchain.agents import AgentExecutor, create_tool_calling_agent
4
from langchain_community.tools.tavily_search import TavilySearchResults
5
from langchain_core.prompts import ChatPromptTemplate
6
from langchain.globals import set_verbose
7

8
llm = ChatOpenAI(model="gpt-4o")
9
tools = [TavilySearchResults(max_results=1)]
10
prompt = ChatPromptTemplate.from_messages(
11
    [
12
        ("system","你是一位得力的助手。",),
13
        ("placeholder", "{chat_history}"),
14
        ("human", "{input}"),
15
        ("placeholder", "{agent_scratchpad}"),
16
    ]
17
)
18
# 构建工具代理
19
agent = create_tool_calling_agent(llm, tools, prompt)
20
set_verbose(True)
21
# 通过传入代理和工具来创建代理执行器
22
agent_executor = AgentExecutor(agent=agent, tools=tools)
23
agent_executor.invoke(
24
    {"input": "谁执导了2023年的电影《奥本海默》，他多少岁了？"}
25
)

1
{'input': '谁执导了2023年的电影《奥本海默》，他多少岁了？', 'output': '克里斯托弗·诺兰（Christopher Nolan）出生于1970年7月30日。截至2023年，他53岁。'}

我们没有得到太多输出，但由于我们设置了 LangSmith，我们可以轻松地看到发生了什么： https://smith.langchain.com/public/a89ff88f-9ddc-4757-a395-3a1b365655bf/r

2. Verbose（详细日志打印）#

如果你在 Jupyter 笔记本中进行原型设计或运行 Python 脚本，打印出链运行的中间步骤可能会有所帮助。有许多方法可以以不同程度的详细程度启用打印。注意：即使启用了 LangSmith，这些仍然有效，因此你可以同时打开并运行它们。

set_verbose(True)

设置 verbose 标志将以稍微更易读的格式打印出输入和输出，并将跳过记录某些原始输出（例如 LLM 调用的令牌使用统计信息），以便您可以专注于应用程序逻辑。

1
from langchain.globals import set_verbose
2
set_verbose(True)
3
agent_executor = AgentExecutor(agent=agent, tools=tools)
4
agent_executor.invoke(
5
    {"input": "Who directed the 2023 film Oppenheimer and what is their age in days?"}
6
)

1
Entering new AgentExecutor chain...
2
Invoking: tavily_search_results_json with `{'query': '2023 movie Oppenheimer director'}`
3
[{'url': 'https://www.imdb.com/title/tt15398776/fullcredits/', 'content': 'Oppenheimer (2023) cast and crew credits, including actors, actresses, directors, writers and more. Menu. ... director of photography: behind-the-scenes Jason Gary ... best boy grip ... film loader Luc Poullain ... aerial coordinator'}]
4
Invoking: `tavily_search_results_json` with `{'query': 'Christopher Nolan age'}`
5
[{'url': 'https://www.nme.com/news/film/christopher-nolan-fans-are-celebrating-his-54th-birthday-youve-changed-things-forever-3779396', 'content': "Christopher Nolan is 54 Still my fave bit of Nolan trivia: Joey Pantoliano on creating Ralph Cifaretto's look in The Sopranos: 'The wig I had them build as an homage to Chris Nolan, I like ..."}]2023年的电影《奥本海默》由克里斯托弗·诺兰（Christopher Nolan）执导。他目前54岁。
6
> Finished chain.

1
{'input': '谁执导了2023年的电影《奥本海默》，他多少岁了？', 'output': '克里斯托弗·诺兰（Christopher Nolan）出生于1970年7月30日。截至2023年，他53岁。'}

3. Debug（调试日志打印）#

set_debug(True)

设置全局的 debug 标志将导致所有具有回调支持的 LangChain 组件（链、模型、代理、工具、检索器）打印它们接收的输入和生成的输出。这是最详细的设置，将完全记录原始输入和输出。

1
from langchain.globals import set_debug
2
# 构建工具代理
3
agent = create_tool_calling_agent(llm, tools, prompt)
4
# 打印调试日志
5
set_debug(True)
6
# 不输出详细日志
7
set_verbose(False)
8
# 通过传入代理和工具来创建代理执行器
9
agent_executor = AgentExecutor(agent=agent, tools=tools)
10
agent_executor.invoke(
11
    {"input": "谁执导了2023年的电影《奥本海默》，他多少岁了？"}
12
)

1
[chain/start] [chain:AgentExecutor] Entering Chain run with input:
2
{"input": "谁执导了2023年的电影《奥本海默》，他多少岁了？"
3
}
4
[chain/start] [chain:AgentExecutor > chain:RunnableSequence] Entering Chain run with input:
5
{"input": ""
6
}
7
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad>] Entering Chain run with input:
8
{"input": ""
9
}
10
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad>] Entering Chain run with input:
11
{"input": ""
12
}
13
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad> > chain:RunnableLambda] Entering Chain run with input:
14
{"input": ""
15
}
16
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad> > chain:RunnableLambda] [1ms] Exiting Chain run with output:
17
{"output": []
18
}
19
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad>] [4ms] Exiting Chain run with output:
20
{"agent_scratchpad": []
21
}
22
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad>] [10ms] Exiting Chain run with output:
23
{"input": "谁执导了2023年的电影《奥本海默》，他多少岁了？","intermediate_steps": [],"agent_scratchpad": []
24
}
25
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > prompt:ChatPromptTemplate] Entering Prompt run with input:
26
{"input": "谁执导了2023年的电影《奥本海默》，他多少岁了？","intermediate_steps": [],"agent_scratchpad": []
27
}
28
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > prompt:ChatPromptTemplate] [1ms] Exiting Prompt run with output:
29
[outputs]
30
[llm/start] [chain:AgentExecutor > chain:RunnableSequence > llm:ChatOpenAI] Entering LLM run with input:
31
{"prompts": ["System: 你是一位得力的助手。\nHuman: 谁执导了2023年的电影《奥本海默》，他多少岁了？"
32
  ]
33
}
34
[llm/end] [chain:AgentExecutor > chain:RunnableSequence > llm:ChatOpenAI] [1.81s] Exiting LLM run with output:
35
{"generations": [
36
    [
37
      {"text": "","generation_info": {"finish_reason": "tool_calls","model_name": "gpt-4o-2024-05-13","system_fingerprint": "fp_4e2b2da518"
38
        },"type": "ChatGenerationChunk","message": {"lc": 1,"type": "constructor","id": ["langchain","schema","messages","AIMessageChunk"
39
          ],"kwargs": {"content": "","additional_kwargs": {"tool_calls": [
40
                {"index": 0,"id": "call_Rhv2KLzFTU0XhJso5F79EiUp","function": {"arguments": "{\"query\":\"2023年电影《奥本海默》导演\"}","name": "tavily_search_results_json"
41
                  },"type": "function"
42
                }
43
              ]
44
            },"response_metadata": {"finish_reason": "tool_calls","model_name": "gpt-4o-2024-05-13","system_fingerprint": "fp_4e2b2da518"
45
            },"type": "AIMessageChunk","id": "run-cbeb35e8-b4ee-4c78-b663-e338ef90382d","tool_calls": [
46
              {"name": "tavily_search_results_json","args": {"query": "2023年电影《奥本海默》导演"
47
                },"id": "call_Rhv2KLzFTU0XhJso5F79EiUp","type": "tool_call"
48
              }
49
            ],"tool_call_chunks": [
50
              {"name": "tavily_search_results_json","args": "{\"query\":\"2023年电影《奥本海默》导演\"}","id": "call_Rhv2KLzFTU0XhJso5F79EiUp","index": 0,"type": "tool_call_chunk"
51
              }
52
            ],"invalid_tool_calls": []
53
          }
54
        }
55
      }
56
    ]
57
  ],"llm_output": null,"run": null
58
}
59
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > parser:ToolsAgentOutputParser] Entering Parser run with input:
60
[inputs]
61
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > parser:ToolsAgentOutputParser] [2ms] Exiting Parser run with output:
62
[outputs]
63
[chain/end] [chain:AgentExecutor > chain:RunnableSequence] [1.85s] Exiting Chain run with output:
64
[outputs]
65
[tool/start] [chain:AgentExecutor > tool:tavily_search_results_json] Entering Tool run with input:
66
"{'query': '2023年电影《奥本海默》导演'}"
67
[tool/end] [chain:AgentExecutor > tool:tavily_search_results_json] [2.06s] Exiting Tool run with output:
68
"[{'url': 'https://baike.baidu.com/item/奥本海默/58802734', 'content': '《奥本海默》是克里斯托弗·诺兰自编自导的，由基里安·墨菲主演的传记电影，该片于2023年7月21日在北美上映，8月30日在中国内地上映，2024年3月29日在日本上映。该片改编自Kai Bird、Martin J. Sherwin的《美国普罗米修斯：奥本海默的胜与悲》，影片《奥本海默》讲述了美国"原子弹之父"罗伯特· ...'}]"
69
[chain/start] [chain:AgentExecutor > chain:RunnableSequence] Entering Chain run with input:
70
{"input": ""
71
}
72
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad>] Entering Chain run with input:
73
{"input": ""
74
}
75
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad>] Entering Chain run with input:
76
{"input": ""
77
}
78
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad> > chain:RunnableLambda] Entering Chain run with input:
79
{"input": ""
80
}
81
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad> > chain:RunnableLambda] [1ms] Exiting Chain run with output:
82
[outputs]
83
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad>] [4ms] Exiting Chain run with output:
84
[outputs]
85
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad>] [10ms] Exiting Chain run with output:
86
[outputs]
87
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > prompt:ChatPromptTemplate] Entering Prompt run with input:
88
[inputs]
89
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > prompt:ChatPromptTemplate] [1ms] Exiting Prompt run with output:
90
[outputs]
91
[llm/start] [chain:AgentExecutor > chain:RunnableSequence > llm:ChatOpenAI] Entering LLM run with input:
92
{"prompts": ["System: 你是一位得力的助手。\nHuman: 谁执导了2023年的电影《奥本海默》，他多少岁了？\nAI: \nTool: [{\"url\": \"https://baike.baidu.com/item/奥本海默/58802734\", \"content\": \"《奥本海默》是克里斯托弗·诺兰自编自导的，由基里安·墨菲主演的传记电影，该片于2023年7月21日在北美上映，8月30日在中国内地上映，2024年3月29日在日本上映。该片改编自Kai Bird、Martin J. Sherwin的《美国普罗米修斯：奥本海默的胜与悲》，影片《奥本海默》讲述了美国\\\"原子弹之父\\\"罗伯特· ...\"}]"
93
  ]
94
}
95
[llm/end] [chain:AgentExecutor > chain:RunnableSequence > llm:ChatOpenAI] [1.39s] Exiting LLM run with output:
96
{"generations": [
97
    [
98
      {"text": "2023年电影《奥本海默》的导演是克里斯托弗·诺兰。接下来我将查询他的年龄。","generation_info": {"finish_reason": "tool_calls","model_name": "gpt-4o-2024-05-13","system_fingerprint": "fp_4e2b2da518"
99
        },"type": "ChatGenerationChunk","message": {"lc": 1,"type": "constructor","id": ["langchain","schema","messages","AIMessageChunk"
100
          ],"kwargs": {"content": "2023年电影《奥本海默》的导演是克里斯托弗·诺兰。接下来我将查询他的年龄。","additional_kwargs": {"tool_calls": [
101
                {"index": 0,"id": "call_QuKQUKd6YLsgTgZeYcWpk2lN","function": {"arguments": "{\"query\":\"克里斯托弗·诺兰年龄\"}","name": "tavily_search_results_json"
102
                  },"type": "function"
103
                }
104
              ]
105
            },"response_metadata": {"finish_reason": "tool_calls","model_name": "gpt-4o-2024-05-13","system_fingerprint": "fp_4e2b2da518"
106
            },"type": "AIMessageChunk","id": "run-b7ee6125-1af5-4073-b81e-076a859755bd","tool_calls": [
107
              {"name": "tavily_search_results_json","args": {"query": "克里斯托弗·诺兰年龄"
108
                },"id": "call_QuKQUKd6YLsgTgZeYcWpk2lN","type": "tool_call"
109
              }
110
            ],"tool_call_chunks": [
111
              {"name": "tavily_search_results_json","args": "{\"query\":\"克里斯托弗·诺兰年龄\"}","id": "call_QuKQUKd6YLsgTgZeYcWpk2lN","index": 0,"type": "tool_call_chunk"
112
              }
113
            ],"invalid_tool_calls": []
114
          }
115
        }
116
      }
117
    ]
118
  ],"llm_output": null,"run": null
119
}
120
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > parser:ToolsAgentOutputParser] Entering Parser run with input:
121
[inputs]
122
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > parser:ToolsAgentOutputParser] [1ms] Exiting Parser run with output:
123
[outputs]
124
[chain/end] [chain:AgentExecutor > chain:RunnableSequence] [1.43s] Exiting Chain run with output:
125
[outputs]
126
[tool/start] [chain:AgentExecutor > tool:tavily_search_results_json] Entering Tool run with input:
127
"{'query': '克里斯托弗·诺兰年龄'}"
128
[tool/end] [chain:AgentExecutor > tool:tavily_search_results_json] [2.89s] Exiting Tool run with output:
129
"[{'url': 'https://baike.baidu.com/item/克里斯托弗·诺兰/5306405', 'content': '克里斯托弗·诺兰（Christopher Nolan），1970年7月30日出生于英国伦敦，导演、编剧、制片人。1998年4月24日克里斯托弗·诺兰拍摄的首部故事片《追随》在旧金山电影节上映。2000年，克里斯托弗·诺兰凭借着他的《记忆碎片》为他获得第74届奥斯卡的提名。2005年，执导《蝙蝠侠》三部曲系列首部电影 ...'}]"
130
[chain/start] [chain:AgentExecutor > chain:RunnableSequence] Entering Chain run with input:
131
{"input": ""
132
}
133
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad>] Entering Chain run with input:
134
{"input": ""
135
}
136
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad>] Entering Chain run with input:
137
{"input": ""
138
}
139
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad> > chain:RunnableLambda] Entering Chain run with input:
140
{"input": ""
141
}
142
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad> > chain:RunnableLambda] [1ms] Exiting Chain run with output:
143
[outputs]
144
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad> > chain:RunnableParallel<agent_scratchpad>] [4ms] Exiting Chain run with output:
145
[outputs]
146
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > chain:RunnableAssign<agent_scratchpad>] [9ms] Exiting Chain run with output:
147
[outputs]
148
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > prompt:ChatPromptTemplate] Entering Prompt run with input:
149
[inputs]
150
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > prompt:ChatPromptTemplate] [2ms] Exiting Prompt run with output:
151
[outputs]
152
[llm/start] [chain:AgentExecutor > chain:RunnableSequence > llm:ChatOpenAI] Entering LLM run with input:
153
{"prompts": ["System: 你是一位得力的助手。\nHuman: 谁执导了2023年的电影《奥本海默》，他多少岁了？\nAI: \nTool: [{\"url\": \"https://baike.baidu.com/item/奥本海默/58802734\", \"content\": \"《奥本海默》是克里斯托弗·诺兰自编自导的，由基里安·墨菲主演的传记电影，该片于2023年7月21日在北美上映，8月30日在中国内地上映，2024年3月29日在日本上映。该片改编自Kai Bird、Martin J. Sherwin的《美国普罗米修斯：奥本海默的胜与悲》，影片《奥本海默》讲述了美国\\\"原子弹之父\\\"罗伯特· ...\"}]\nAI: 2023年电影《奥本海默》的导演是克里斯托弗·诺兰。接下来我将查询他的年龄。\nTool: [{\"url\": \"https://baike.baidu.com/item/克里斯托弗·诺兰/5306405\", \"content\": \"克里斯托弗·诺兰（Christopher Nolan），1970年7月30日出生于英国伦敦，导演、编剧、制片人。1998年4月24日克里斯托弗·诺兰拍摄的首部故事片《追随》在旧金山电影节上映。2000年，克里斯托弗·诺兰凭借着他的《记忆碎片》为他获得第74届奥斯卡的提名。2005年，执导《蝙蝠侠》三部曲系列首部电影 ...\"}]"
154
  ]
155
}
156
[llm/end] [chain:AgentExecutor > chain:RunnableSequence > llm:ChatOpenAI] [885ms] Exiting LLM run with output:
157
{"generations": [
158
    [
159
      {"text": "克里斯托弗·诺兰（Christopher Nolan）出生于1970年7月30日。根据当前时间（2023年），他53岁。","generation_info": {"finish_reason": "stop","model_name": "gpt-4o-2024-05-13","system_fingerprint": "fp_4e2b2da518"
160
        },"type": "ChatGenerationChunk","message": {"lc": 1,"type": "constructor","id": ["langchain","schema","messages","AIMessageChunk"
161
          ],"kwargs": {"content": "克里斯托弗·诺兰（Christopher Nolan）出生于1970年7月30日。根据当前时间（2023年），他53岁。","response_metadata": {"finish_reason": "stop","model_name": "gpt-4o-2024-05-13","system_fingerprint": "fp_4e2b2da518"
162
            },"type": "AIMessageChunk","id": "run-0cc2156a-5a9d-41c2-b8bc-ecb2a291f408","tool_calls": [],"invalid_tool_calls": []
163
          }
164
        }
165
      }
166
    ]
167
  ],"llm_output": null,"run": null
168
}
169
[chain/start] [chain:AgentExecutor > chain:RunnableSequence > parser:ToolsAgentOutputParser] Entering Parser run with input:
170
[inputs]
171
[chain/end] [chain:AgentExecutor > chain:RunnableSequence > parser:ToolsAgentOutputParser] [1ms] Exiting Parser run with output:
172
[outputs]
173
[chain/end] [chain:AgentExecutor > chain:RunnableSequence] [914ms] Exiting Chain run with output:
174
[outputs]
175
[chain/end] [chain:AgentExecutor] [9.25s] Exiting Chain run with output:
176
{"output": "克里斯托弗·诺兰（Christopher Nolan）出生于1970年7月30日。根据当前时间（2023年），他53岁。"
177
}

1
{'input': '谁执导了2023年的电影《奥本海默》，他多少岁了？', 'output': '克里斯托弗·诺兰（Christopher Nolan）出生于1970年7月30日。根据当前时间（2023年），他53岁。'}

欢迎来到 SuifengFlying!