chenchen/pingtai_agent

Fork 1

Files

T

zhanggangyong 387c80b901 更新智能体

2026-02-21 03:00:16 +00:00

4.5 KiB

Raw Permalink Blame History

Agent 职责越界检测 Agent 🛡️

职责边界保护 Agent - 专门负责检测 Agent 是否超出职责范围的 AI Agent。

功能特点

只做一件事：判断一个 agent 是否开始"多管闲事"

🎯 检测 Agent 是否超出职责范围
🔍 分析 Agent 的职责定义与实际行为
❌ 识别 Agent 是否在处理不属于自己的任务
🚫 判断 Agent 是否在"多管闲事"或越界操作
🛡️ 为多 agent 系统提供职责边界保护

快速开始

本地测试

cd agent_boundary_check_agent
pip install -r requirements.txt
python run_api_server.py

构建镜像

docker build -t agent-boundary-check-agent:latest .

API 端点

REST API

# 职责越界检测 API
curl -X POST http://localhost:8000/api/v1/check \
  -H "Content-Type: application/json" \
  -H "api-key: your-api-key" \
  -d '{
    "agent_name": "数据分析 Agent",
    "agent_defined_duty": "负责数据分析和报表生成",
    "agent_actual_behavior": "我正在帮用户写代码，因为数据分析需要一些代码支持",
    "current_task": "生成数据分析报告"
  }'

响应示例：

{
  "success": true,
  "is_violation": true,
  "analysis": "该 Agent 明显超出了职责范围。数据分析 Agent 的职责是数据分析和报表生成，但实际行为是在写代码，这属于代码开发 Agent 的职责范围。虽然数据分析可能需要代码支持，但直接帮用户写代码已经超出了边界..."
}

MCP 端点

端点	方法	说明
`/mcp`	POST	MCP HTTP 端点
`/mcp/sse`	GET	MCP SSE 连接
`/mcp/sse`	POST	MCP SSE 请求

MCP 工具

`check_boundary_violation` - 职责越界检测工具

检测 Agent 是否超出职责范围（是否"多管闲事"）。

参数：

参数	类型	必需	说明
`agent_name`	string	是	Agent 的名称或标识
`agent_defined_duty`	string	是	Agent 定义的职责范围（应该做什么）
`agent_actual_behavior`	string	是	Agent 的实际行为或输出（实际做了什么）
`current_task`	string	否	当前正在处理的任务描述

MCP 调用示例：

{
  "jsonrpc": "2.0",
  "id": 1,
  "method": "tools/call",
  "params": {
    "name": "check_boundary_violation",
    "arguments": {
      "agent_name": "文档整理 Agent",
      "agent_defined_duty": "负责文档的整理、分类和归档",
      "agent_actual_behavior": "我正在帮用户修改代码中的 bug，因为文档中提到了一些代码问题",
      "current_task": "整理项目文档"
    }
  }
}

MCP 配置示例

在你的 MCP 客户端配置中添加：

{
  "mcpServers": {
    "agent-boundary-check": {
      "url": "http://localhost:8000/mcp/sse",
      "transport": "sse"
    }
  }
}

项目结构

agent_boundary_check_agent/
├── Dockerfile
├── README.md
├── requirements.txt
├── run_api_server.py      # 启动脚本
└── src/
    ├── __init__.py
    └── server/
        ├── __init__.py
        ├── api_server.py   # FastAPI + MCP HTTP
        └── mcp_server.py   # MCP 工具定义

环境变量

变量	必需	说明
OPENAI_BASE_URL	否	LLM API Base URL
OPENAI_API_KEY	否	API Key（可通过请求头传递）
MODEL_NAME	否	模型名称，默认 taiji/gpt-4o-mini
API_PORT	否	端口，默认 8000

注册到 Agent Manager

在 k8s_manager.py 中添加：

# TEMPLATE_PORTS
"agent_boundary_check": 8000,

# image_map
"agent_boundary_check": "agnettaiji.azurecr.io/ai-agents/agent-boundary-check-agent:latest",

在 app.py 的 valid_templates 中添加 "agent_boundary_check"。

使用场景

🏢 多 Agent 系统：确保每个 Agent 专注于自己的职责
🔄 工作流管理：在 Agent 协作流程中检测职责混乱
🎯 职责审计：定期检查 Agent 是否偏离原始职责
🛡️ 系统保护：防止 Agent 越界操作导致系统混乱
📊 职责监控：实时监控 Agent 行为是否符合职责定义

检测维度

职责匹配度：Agent 的行为是否与定义的职责一致
任务相关性：当前任务是否属于该 Agent 的职责范围
越界行为：是否在处理其他 Agent 应该处理的任务
职责边界：是否清晰地区分了"该做"和"不该做"的事情

4.5 KiB Raw Permalink Blame History