Files
socaichat/test.md
T
gongzhiyongandClaude Opus 4.6 3eb70fec59
Deploy LangGraph Server to Azure Web App / build-and-deploy (push) Failing after 20s
Deploy LangGraph UI to Azure Static Web Apps / build-and-deploy (push) Failing after 39s
fix: coder agent must always call code_execute, never return plain text code
Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-04-11 11:03:50 +08:00

4.1 KiB

SOC LangGraph.js Phase 2 回归测试报告

测试环境

测试结果汇总

# 测试项 输入 预期路由 实际路由 结果 备注
1 健康检查 GET /ok - - PASS {"ok":true}
2 普通对话 "你好" generalInput generalInput PASS 纯文本回复,无工具调用
3 知识库查询 "查询知识库关于产品的信息" enterprise enterprise PARTIAL 路由正确,kb_search 仍超时
4 工单查询 "查询最近的工单" enterprise enterprise PASS ticket-summary UI 卡片正常
5 网络搜索 "搜索 LangGraph.js 最新版本" searcher searcher PASS search-result UI 卡片正常
6 代码生成 "帮我写一段 Python 代码计算斐波那契数列" coder coder PARTIAL 路由已修复! 但 coder 未调用 sandbox,直接返回文本代码
7 文档撰写 "帮我写一份项目周报" writer writer PASS 路由正确,调用 doc_create 工具生成 markdown 文档 (已修复!)
8 前端页面 GET http://localhost:5173/ - - PASS HTTP 200

修复验证

Task #5: Router coder/writer 误路由 -- 已修复

  • 之前: "帮我写代码" -> writer (错误)
  • 现在: "帮我写代码" -> coder (正确)
  • 验证结果: PASS

Task #6: Writer 未调用 doc_create 工具 -- 已修复

  • 之前: writer 直接返回纯文本
  • 现在: writer 调用 doc_create({"title":"项目周报","type":"markdown","content":"..."}) 生成结构化文档
  • 验证结果: PASS

详细测试记录

Test 1: GET /ok

  • 响应: {"ok":true}
  • 判定: PASS

Test 2: generalInput - "你好"

  • Router: next: "generalInput"
  • 回复: "你好!有什么我可以帮你的吗?"
  • 判定: PASS (无回归)

Test 3: enterprise KB - "查询知识库关于产品的信息"

  • Router: next: "enterprise"
  • 调用: kb_search({"query":"产品 信息"})
  • 结果: TimeoutError: The operation was aborted due to timeout
  • AI 优雅降级回复
  • 判定: PARTIAL - 外部 KB 服务仍然超时,非本次修复范围

Test 4: enterprise 工单 - "查询最近的工单"

  • Router: next: "enterprise"
  • ticket-summary UI 卡片正常
  • 判定: PASS (无回归)

Test 5: searcher - "搜索 LangGraph.js 最新版本"

  • Router: next: "searcher"
  • search-result UI 卡片正常
  • 判定: PASS (无回归)

Test 6: coder - "帮我写一段 Python 代码计算斐波那契数列"

  • Router: next: "coder" (修复成功!)
  • coder 节点 (langgraph_node: "agent") 直接返回文本代码,未调用 sandbox 执行工具
  • 输出包含正确的 Python 代码但无 sandbox-result UI 卡片
  • 判定: PARTIAL - 路由修复成功,但 coder Agent 未使用 sandbox 执行代码

Test 7: writer - "帮我写一份项目周报"

  • Router: next: "writer"
  • writer 调用 doc_create({"title":"项目周报","type":"markdown","content":"..."}) (修复成功!)
  • 判定: PASS

Test 8: 前端页面

  • HTTP 200
  • 判定: PASS

遗留问题

问题 1: kb_search 外部服务超时 [中等]

  • enterprise 调用 kb_search 仍返回 TimeoutError
  • 非本次修复范围,需检查 KB Agent 外部服务

问题 2: coder Agent 未调用 sandbox 执行代码 [中等]

  • Router 已正确路由到 coder,但 coder Agent 直接返回文本代码而非调用 sandbox 工具执行
  • 建议: 检查 coder Agent 的 prompt 或工具绑定,确保代码请求会调用 sandbox 执行工具

通过率

6/8 通过, 2 部分通过 (75%)

与上一轮对比

指标 上一轮 本轮 变化
通过率 67% (6/9) 75% (6/8) +8%
Router 路由正确率 5/6 6/6 100%
UI 卡片 2/4 3/4 +1 (doc_create)
修复验证 - 2/2 PASS Task #5, #6 确认修复