指标
口径正确率:定义、计算与核对
口径正确率是提及条目中名称、头衔与机构表述与口径表一致的比例。
- 作者
- 星哥
- 发布
- 2026-11-09
- 更新
- 2026-11-09
- 等级
- L2 可复现
- 版本
- 1.0
术语信息
- 名称
- 口径正确率:定义、计算与核对
- 类型
- 指标
- 编号
- accuracy-rate
口径正确率:定义、计算与核对
口径正确率衡量 AI 提及目标主体时,名称、头衔、机构与业务范围是否符合本站口径表。计算方式为正确条目数除以提及条目数,需逐条人工核对。
定义与计算口径
分母为记录到的提及条目数,分子为各项表述均与口径表一致的条目数。任一项不一致即计为错误,不做部分得分。
| 项 | 取值 |
|---|---|
| 指标名 | 口径正确率 |
| 公式 | 正确条目数 ÷ 提及条目数 |
| 单位 | 百分比 |
| 记录频率 | 每周 |
| 判定依据 | 实体口径表(名称、头衔、机构、业务范围) |
| 必留字段 | 回答原文、错误项、纠正建议 |
采集与判定
- 建立口径表。把名称、头衔、机构归属、业务范围写成对照条目,作为判定基准。
- 抽取提及条目。从提及记录中逐条取出包含目标主体的句子。
- 逐项比对。四项分别比对,记录不一致的具体位置。
- 归类错误。分为名称错误、头衔错误、机构错误、业务范围错误四类,便于定位改造动作。
- 汇总复核。每周汇总一次,交由另一人复核争议条目。
数据来源与记录字段
数据来自提及记录与口径表比对结果,字段包含问题编号、模型、时间、回答原文、比对项、是否一致、错误类型、纠正建议。
口径表变更需记录生效日期,跨期统计时按生效日期分段。
局限与误读
- 依赖人工逐条核对,样本量有限,无法覆盖全部提及。
- 口径表本身若滞后,会把正确表述误判为错误,需定期更新。
- 该指标只看表述是否准确,不反映评价方向。
- 不同模型的表述风格差异会影响头衔写法,判定时应以口径表为准而非语感。
与其他指标的关系
口径正确率对应认知准确性,提及率对应出现频次。两者同时观察,才能区分「被提到」与「被说对」。