Agent 职责越界检测 Agent 🛡️
职责边界保护 Agent - 专门负责检测 Agent 是否超出职责范围的 AI Agent。
功能特点
只做一件事:判断一个 agent 是否开始"多管闲事"
- 🎯 检测 Agent 是否超出职责范围
- 🔍 分析 Agent 的职责定义与实际行为
- ❌ 识别 Agent 是否在处理不属于自己的任务
- 🚫 判断 Agent 是否在"多管闲事"或越界操作
- 🛡️ 为多 agent 系统提供职责边界保护
快速开始
本地测试
cd agent_boundary_check_agent
pip install -r requirements.txt
python run_api_server.py
构建镜像
docker build -t agent-boundary-check-agent:latest .
API 端点
REST API
# 职责越界检测 API
curl -X POST http://localhost:8000/api/v1/check \
-H "Content-Type: application/json" \
-H "api-key: your-api-key" \
-d '{
"agent_name": "数据分析 Agent",
"agent_defined_duty": "负责数据分析和报表生成",
"agent_actual_behavior": "我正在帮用户写代码,因为数据分析需要一些代码支持",
"current_task": "生成数据分析报告"
}'
响应示例:
{
"success": true,
"is_violation": true,
"analysis": "该 Agent 明显超出了职责范围。数据分析 Agent 的职责是数据分析和报表生成,但实际行为是在写代码,这属于代码开发 Agent 的职责范围。虽然数据分析可能需要代码支持,但直接帮用户写代码已经超出了边界..."
}
MCP 端点
| 端点 | 方法 | 说明 |
|---|---|---|
/mcp |
POST | MCP HTTP 端点 |
/mcp/sse |
GET | MCP SSE 连接 |
/mcp/sse |
POST | MCP SSE 请求 |
MCP 工具
check_boundary_violation - 职责越界检测工具
检测 Agent 是否超出职责范围(是否"多管闲事")。
参数:
| 参数 | 类型 | 必需 | 说明 |
|---|---|---|---|
agent_name |
string | 是 | Agent 的名称或标识 |
agent_defined_duty |
string | 是 | Agent 定义的职责范围(应该做什么) |
agent_actual_behavior |
string | 是 | Agent 的实际行为或输出(实际做了什么) |
current_task |
string | 否 | 当前正在处理的任务描述 |
MCP 调用示例:
{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/call",
"params": {
"name": "check_boundary_violation",
"arguments": {
"agent_name": "文档整理 Agent",
"agent_defined_duty": "负责文档的整理、分类和归档",
"agent_actual_behavior": "我正在帮用户修改代码中的 bug,因为文档中提到了一些代码问题",
"current_task": "整理项目文档"
}
}
}
MCP 配置示例
在你的 MCP 客户端配置中添加:
{
"mcpServers": {
"agent-boundary-check": {
"url": "http://localhost:8000/mcp/sse",
"transport": "sse"
}
}
}
项目结构
agent_boundary_check_agent/
├── Dockerfile
├── README.md
├── requirements.txt
├── run_api_server.py # 启动脚本
└── src/
├── __init__.py
└── server/
├── __init__.py
├── api_server.py # FastAPI + MCP HTTP
└── mcp_server.py # MCP 工具定义
环境变量
| 变量 | 必需 | 说明 |
|---|---|---|
| OPENAI_BASE_URL | 否 | LLM API Base URL |
| OPENAI_API_KEY | 否 | API Key(可通过请求头传递) |
| MODEL_NAME | 否 | 模型名称,默认 taiji/gpt-4o-mini |
| API_PORT | 否 | 端口,默认 8000 |
注册到 Agent Manager
在 k8s_manager.py 中添加:
# TEMPLATE_PORTS
"agent_boundary_check": 8000,
# image_map
"agent_boundary_check": "agnettaiji.azurecr.io/ai-agents/agent-boundary-check-agent:latest",
在 app.py 的 valid_templates 中添加 "agent_boundary_check"。
使用场景
- 🏢 多 Agent 系统:确保每个 Agent 专注于自己的职责
- 🔄 工作流管理:在 Agent 协作流程中检测职责混乱
- 🎯 职责审计:定期检查 Agent 是否偏离原始职责
- 🛡️ 系统保护:防止 Agent 越界操作导致系统混乱
- 📊 职责监控:实时监控 Agent 行为是否符合职责定义
检测维度
- 职责匹配度:Agent 的行为是否与定义的职责一致
- 任务相关性:当前任务是否属于该 Agent 的职责范围
- 越界行为:是否在处理其他 Agent 应该处理的任务
- 职责边界:是否清晰地区分了"该做"和"不该做"的事情