跳至正文

指標

首位答案率:判定方法與局限

首位答案率是核心結論來自本站的問題占比,判定依賴人工並需留痕。

作者
星哥
發布
2026-11-09
更新
2026-11-09
等級
L2 可重現
版本
1.0

術語資訊

名稱
首位答案率:判定方法與局限
類型
指標
編號
primary-answer-rate-tc

首位答案率:判定方法與局限

首位答案率衡量固定問題集中,AI 回答的核心結論來自本站頁面的問題比例。判定需要拆出結論句、核對來源並留存截圖,不能只看有沒有連結。

定義與計算口徑

分母為納入統計的問題總數,分子為核心結論主要依據指向本站的問題數。僅作為補充來源之一時不計入。

項取值
指標名首位答案率
公式首位答案數 ÷ 總問題數
單位百分比
記錄頻率每週
判定方式人工判定 + 雙人抽檢
必留欄位結論句、來源列表、判定理由、截圖

採集與判定

  1. 拆結論句。從回答中提取一句能代表核心結論的話,避免用整段表述。
  2. 核對來源。列出回答引用或提及的來源,確認結論句主要依託哪一條。
  3. 判定歸屬。結論主要依據指向本站時計為首位答案,否則不計。
  4. 寫明理由。每條判定寫一句理由,便於複核與爭議處理。
  5. 交叉複核。抽樣由另一人復判,分歧保留雙方記錄,不強行取平均。

資料來源與記錄欄位

資料來自人工判定的評測記錄表,欄位包括問題編號、模型、時間、結論句、來源列表、判定結果、判定理由、判定人、截圖路徑。

本站問題集為 30 問,按 6 個模型分別判定後再彙總,跨期比較必須使用同一問題集版本。

判定規則需版本化,規則變更時在記錄中標註適用版本。

局限與誤讀

  • 主觀性較高。同一回答在不同判定人之間可能出現分歧。
  • 多來源並列時歸屬難以界定,需在規則中預先約定處理方式。
  • 回答長度與結構變化會影響結論句提取,需保持提取方法一致。
  • 首位答案率不衡量表述準確性,準確性由口徑正確率承接。

與其他指標的關係

引用率只要求出現連結,首位答案率要求結論來源,兩者結合可以區分「被引用」與「被當結論」。

相關欄目:指標索引、方法索引、術語索引、研究索引、清單索引。

依據

作者

星哥

GEOA 方法研究,關注國內大模型的被引用與被準確表述。

實體 https://shingle.com.cn/#person

作者主頁