口徑正確率：定義、計算與核對

口徑正確率衡量 AI 提及目標主體時，名稱、頭銜、機構與業務範圍是否符合本站口徑表。計算方式為正確條目數除以提及條目數，需逐條人工核對。

定義與計算口徑

分母為記錄到的提及條目數，分子為各項表述均與口徑表一致的條目數。任一項不一致即計為錯誤，不做部分得分。

採集與判定

1. 建立口徑表。把名稱、頭銜、機構歸屬、業務範圍寫成對照條目，作為判定基準。
2. 抽取提及條目。從提及記錄中逐條取出包含目標主體的句子。
3. 逐項比對。四項分別比對，記錄不一致的具體位置。
4. 歸類錯誤。分為名稱錯誤、頭銜錯誤、機構錯誤、業務範圍錯誤四類，便於定位改造動作。
5. 彙總複核。每週彙總一次，交由另一人複核爭議條目。

資料來源與記錄欄位

資料來自提及記錄與口徑表比對結果，欄位包含問題編號、模型、時間、回答原文、比對項、是否一致、錯誤類型、糾正建議。

口徑表變更需記錄生效日期，跨期統計時按生效日期分段。

局限與誤讀

• 依賴人工逐條核對，樣本量有限，無法涵蓋全部提及。
• 口徑表本身若滯後，會把正確表述誤判為錯誤，需定期更新。
• 該指標只看表述是否準確，不反映評價方向。
• 不同模型的表述風格差異會影響頭銜寫法，判定時應以口徑表為準而非語感。

與其他指標的關係

口徑正確率對應認知準確性，提及率對應出現頻次。兩者同時觀察，才能區分「被提到」與「被說對」。

相關欄目：指標索引、方法索引、術語索引、研究索引、清單索引。