公开排行榜
中文幻觉检测 Benchmark
每行都注明数据集、样本量、评测日期与复现方式。不同行来自不同数据集，请直接读该行下方的来源说明再比较。
| 工具 | 准确率 | 召回率 | 误报率 | 延迟 |
|---|---|---|---|---|
HallucC-Agent-Bench fast + NLI（当前线上配置）推荐 自测。100 条自建中文 Agent 轨迹（20 契约 planted + 80 对抗），fast 档 0 LLM 调用 / 0 搜索。TP=86 FN=5 FP=0 TN=9。NLI=IDEA-CCNL/Erlangshen-Roberta-110M（CPU，torch+transformers），26.5s 含一次性模型加载约 8s。2026-10-13 重测，与 2026-09-01 快照一致。 | 95.0% | 94.5% | 0.0% | 26.5s/100条 |
HallucC-Agent-Bench fast（无 NLI 消融对照） 同上 100 条，禁用 NLI 的消融。TP=78 FN=13 FP=0 TN=9。NLI 贡献 +8.8pp recall——漏掉的 8 条全是「换个说法重述」型语义矛盾（静默推翻/常识改写），纯规则层判不出。 | 87.0% | 85.7% | 0.0% | 12.4s/100条 |
trivial 基线（全部判「无幻觉」） 自测对照。docs/set 500 条声明级集（251 幻觉 + 249 正确，非严格 1:1），预测全为「无幻觉」→ 命中 249 条正确样本。用于验证上面两行的数字不是被类别分布撑出来的。 | 49.8% | 0.0% | 0.0% | — |
评测方法
- 评测指标：准确率 (accuracy)、召回率 (recall)、误报率 (false positive rate)、平均端到端延迟
- 只发布可复现且声明了口径的数字：每行必须写明数据集、样本量、评测日期、自建或第三方。无出处的数字不展示。
- 当前榜单均为自建数据集自测，非第三方评测。已下架的无出处数字包括早前的自报准确率与引用自竞品官方报告的横向对比行。
- 数据集公开：
agent_benchmark.py（Agent 轨迹集）与docs/set/hallucination_eval_dataset.jsonl（500 条声明级集） - 第三方评测欢迎提交 PR 补充，需附数据集、样本量与可复现脚本。
Agent 幻觉检测 · 自证基准
HallucC-Agent-Bench
100 条中文 Agent 执行轨迹（20 契约回归 + 80 真实分布对抗），专测 Agent 幻觉检测器。契约套件 recall=1.0 属设计内回归门（检测器↔标签同源）；对抗套件为独立手写地面真值，公示真实检出率与误报率。数据源自 agent_benchmark.py，可复现。
fast 档不调大模型 不联网搜索纯规则 · 毫秒级
加载评测结果…