Hermit/docs/eval_tool_cst.md

Tool-loop CST 评测笔记（反哺论文素材）

本文是 CST-Agent 侧的评测/案例记录，供写入 SD 主论文附录或独立 TR 时粘贴。
不替代 SD/paper/sections/eval_zh.tex 中 Markdown→HTML 主实验。

理论锚点见 theory_tool_cst.md。

命题分工

层	主张	主变量	非主张
论文 CST	(O_{\mathrm{conf}}) 有界确认 → HTML	(\mathcal{L}_0) vs 引用式链接等	—
Tool-loop CST	同构到工具帧	CTL vs JSON-buffer 截断	网关空答率、模型智商
工程载体	OpenAI tool_calls + XML fallback	可演示端到端	不算进 CST 正确性定理

实验 A — 饥饿 / 截断（已自动化）

cd agent && make check
# 关注 ./tests/test_replay_starvation

填写模板（跑完后更新数字）：

指标	CTL	JSON-buffer
完整输入可执行	yes	yes
截断点上过早执行次数	0	n/a（截断即失败）
安全截断样本（本机 make check）	3	3 次 trunc failure

对应理论：裸 JSON ∉ (\mathcal{L}_0^{\mathrm{tool}})；CTL 长度前缀使参数体字节可确认，pending 有界。

实验 B — mini_calc 端到端案例（不可逆发射）

协议见 fixtures/mini_calc/ 与 scripts/e2e_mini_calc.sh。

cd agent
./scripts/e2e_mini_calc.sh --baseline-only   # 无 key：证明 fixture 初始 RED
./scripts/e2e_mini_calc.sh                 # 有 key：agent 修 bug → make test

验收口径

outcome	含义
pass	make test 绿
partial	改了 calc.c 但测试仍红
fail	未改文件或 agent/API 失败
baseline_ok_agent_skipped / baseline_ok_no_api_key	仅验证夹具

论文可引用的叙事

1. Session JSONL 中顺序：assistant tool_calls → role:tool 结果 →（可选）写文件/shell → 最终文本。
2. 工具仅在确认/原生完整 arguments 后执行（工程桥）；CTL 饥饿实验仍是形式主证据。
3. 案例展示「确认后不可撤回的磁盘副作用」与 transcript 只追加。

跑分记录（模板）

日期 (UTC)	model	outcome	notes
2026-09-07	MiniMax-M2.7	pass	e2e_mini_calc.sh；baseline RED → agent 修 add/div_ints → make test 绿；见 out/result-20260907T131300Z.txt

与主论文的衔接建议

• 附录 / 扩展节标题示例：「Tool-loop CST：确认前沿到工具调用」
• 粘贴：theory 表（theory_tool_cst.md）+ 实验 A 表 + 实验 B 一行案例。
• 明确声明：主 fan-out / (\mathcal{A}=0) 数字仍来自 Sashidown；本笔记只提供 同构第二实例。

明确不写进定理的内容

• 商业 API 空回复、权限 UX、TUI 观感
• 「已达生产 coding agent」类宣称