chenchenandClaude Opus 4.7 2477d01d61 docs(heicode): §7.17 ack token rotation + answer email-lookup question
Heicode rotated NewAPI service token (fingerprint 25b85d67…b1d6) per §7.16.7.
Walked through §7.7.2.1 flow:
  1. Read Docs/heicode-svc-token.txt — fingerprint matched
  2. kubectl create secret generic heicode-newapi (key=service-token)
  3. rollout restart — completed
  4. P4 smoke 4/4 with 55@55.com — balance/models/usage/logs all 200
  5. Deleted local Docs/heicode-svc-token.txt
  6. This §7.17 ack

Answer to Heicode's lookup question:
  Their `zsbgnw@gmail.com → USER_NOT_FOUND` observation was a side-effect of
  the stale token: while their new token was staged but our k8s secret still
  held the previous value, every NewAPI call returned 401, and our
  resolve_user_id_by_email() catches HeicodeNewAPIError and returns None —
  which the P4 router translates to 404 HEICODE_USER_NOT_FOUND.

  Direct re-test from inside the pod after rotation:
  `GET /api/user/search?keyword=zsbgnw@gmail.com&group=` → 200, 1 item,
  id=22 email=zsbgnw@gmail.com username=chenchen. Our query path is exactly
  what they suggested (`/api/user/search` with empty `group`), and we filter
  by email field downstream — implementation is fine.

Bonus finding: post-rotation `/balance` for zsbgnw@gmail.com returns
502 HEICODE_NEWAPI_UPSTREAM_ERROR because user 22 is super-admin and our
admin token holder (user 26) cannot read same-or-higher-level users
("No permission to access users of same or higher level"). NewAPI returns
HTTP 200 with success=false, our client correctly raises HeicodeNewAPIError.
This is an authorization policy on their side, not a bug — three options
proposed in §7.17.3 for product decision.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-13 11:58:37 +08:00
2026-05-05 14:13:59 +08:00
2026-03-13 02:53:27 +00:00
2026-03-10 06:40:38 +00:00
2026-05-05 14:13:59 +08:00
2026-03-16 04:05:44 +00:00
2026-03-15 15:30:24 +00:00
2026-03-15 15:30:24 +00:00
2026-03-25 20:48:00 +08:00
2026-05-05 14:13:59 +08:00
2026-03-13 02:53:27 +00:00

Agent 赋能平台:全栈工程架构与实施

📌 项目概述

Agent 赋能平台是一个旨在将 AI Agents 从实验性脚本演进为工业级生产力单元的全栈工程化平台 。平台通过构建标准化的智力资源分发与治理体系,整合异构数据,支持多模型动态切换,并具备透明的计费与安全隔离机制 。

🏗 五大核心技术平面

第一平面:全域数据接入与工具化治理

核心目标是将异构 API 资源转化为 Agent 可理解、可调用的标准“工具集” 。

LLM-Ready API 转换:集成 RapidAPI 生态,利用超过 16,000 个 API 提供全领域能力 。

APILLAMA 技术:采用微调的 Llama-3-8B-Instruct 模型,通过软提示技术将 API 文档转换为 Pydantic 或 JSON Schema 规范 。

语义增强:通过详尽的操作摘要和描述字段,消除 Agent 在参数构造时的“幻觉”现象 。

第二平面:模型抽象层与动态治理

作为平台的“大脑指挥部”,负责屏蔽底层模型差异并确保高可用性 。

统一网关:集成 LiteLLM 代理网关,提供与 OpenAI 兼容的统一端点,支持超过 100 个模型 API 。

高可用路由:支持模型组定义,实现自动负载均衡与跨服务商(如从 OpenAI 切换至 Anthropic)的故障转移 。

上下文管理:自动处理不同模型的 token 限制,执行会话截断或总结逻辑 。

第三平面:单体 Agent 协议化封装

定义具有明确边界和原子化能力的 Agent 单元 。

原子化设计:每个 Agent 仅包含角色(Role)、目标(Goal)和授权工具集(Tools) 。

  • 通信协议支持:

MCP (Model Context Protocol):解决工具集成硬编码难题,支持 stdio 和 SSE 传输 。

A2A (Agent-to-Agent):通过 Agent Card(代理名片)实现代理间的发现、任务委派与工件交换 。

第四平面:以 MCP 为核心的本地编排

采用“MCP-First”策略,使平台服务能无缝集成至主流生态 。

通用集成:支持通过 MCP 协议直接接入 Cursor、Claude Desktop 等 IDE 和客户端 。

框架适配:提供对 LangChain、CrewAI 和 Microsoft AutoGen 的原生适配器支持 。

第五平面:执行单元 (EU) 计费与治理

引入基于资源消耗的计费模型,解决 Token 计费的不确定性问题 。

  • EU 计费公式:

安全隔离:利用 Firecracker (MicroVM) 或 gVisor 实施计算隔离,通过 RLS 确保租户数据安全 。


🛠 技术栈

模型/提取:Llama-3-8B, APILLAMA

网关/治理:LiteLLM, Pomerium

协议:MCP, A2A, JSON-RPC 2.0

基础设施:Firecracker, NATS, Golang

监控:Datadog, Prometheus, LangSmith


🚀 快速集成

平台 Agent 支持多种集成方式:

集成对象 实现方式
LangChain 使用 langchain-mcp-adapters 初始化 MultiServerMCPClient

| | CrewAI | 在 Agent 类中配置 mcps 字段指向 SSE URL

| | AutoGen | 使用 StdioMcpToolAdapter 封装 Action 单元

| | IDE (Cursor) | 直接添加标准的 MCP 服务器端点

|


🔮 未来规划

自治成本优化:开发元调度器自主选择最经济的模型+工具组合 。

跨代理信誉体系:建立基于任务完成率的信任评分机制 。

异构计算卸载:实现任务在端侧设备与云端集群间的动态分配 。

您是否需要我为您编写具体的 MCP 服务器部署脚本或 EU 计费引擎的配置示例?

S
Description
No description provided
Readme
8.7 MiB
Languages
Python 95.9%
Shell 3.6%
Batchfile 0.4%
Dockerfile 0.1%