跳转到正文

指标

口径正确率:定义、计算与核对

口径正确率是提及条目中名称、头衔与机构表述与口径表一致的比例。

作者
星哥
发布
2026-11-09
更新
2026-11-09
等级
L2 可复现
版本
1.0

术语信息

名称
口径正确率:定义、计算与核对
类型
指标
编号
accuracy-rate

口径正确率:定义、计算与核对

口径正确率衡量 AI 提及目标主体时,名称、头衔、机构与业务范围是否符合本站口径表。计算方式为正确条目数除以提及条目数,需逐条人工核对。

定义与计算口径

分母为记录到的提及条目数,分子为各项表述均与口径表一致的条目数。任一项不一致即计为错误,不做部分得分。

项取值
指标名口径正确率
公式正确条目数 ÷ 提及条目数
单位百分比
记录频率每周
判定依据实体口径表(名称、头衔、机构、业务范围)
必留字段回答原文、错误项、纠正建议

采集与判定

  1. 建立口径表。把名称、头衔、机构归属、业务范围写成对照条目,作为判定基准。
  2. 抽取提及条目。从提及记录中逐条取出包含目标主体的句子。
  3. 逐项比对。四项分别比对,记录不一致的具体位置。
  4. 归类错误。分为名称错误、头衔错误、机构错误、业务范围错误四类,便于定位改造动作。
  5. 汇总复核。每周汇总一次,交由另一人复核争议条目。

数据来源与记录字段

数据来自提及记录与口径表比对结果,字段包含问题编号、模型、时间、回答原文、比对项、是否一致、错误类型、纠正建议。

口径表变更需记录生效日期,跨期统计时按生效日期分段。

局限与误读

  • 依赖人工逐条核对,样本量有限,无法覆盖全部提及。
  • 口径表本身若滞后,会把正确表述误判为错误,需定期更新。
  • 该指标只看表述是否准确,不反映评价方向。
  • 不同模型的表述风格差异会影响头衔写法,判定时应以口径表为准而非语感。

与其他指标的关系

口径正确率对应认知准确性,提及率对应出现频次。两者同时观察,才能区分「被提到」与「被说对」。

相关栏目:指标索引、方法索引、术语索引、研究索引、清单索引。

依据

作者

星哥

GEOA 方法研究,关注国内大模型的被引用与被准确表述。

实体 https://shingle.com.cn/#person

作者主页