指標
首位答案率:判定方法與局限
首位答案率是核心結論來自本站的問題占比,判定依賴人工並需留痕。
- 作者
- 星哥
- 發布
- 2026-11-09
- 更新
- 2026-11-09
- 等級
- L2 可重現
- 版本
- 1.0
術語資訊
- 名稱
- 首位答案率:判定方法與局限
- 類型
- 指標
- 編號
- primary-answer-rate-tc
首位答案率:判定方法與局限
首位答案率衡量固定問題集中,AI 回答的核心結論來自本站頁面的問題比例。判定需要拆出結論句、核對來源並留存截圖,不能只看有沒有連結。
定義與計算口徑
分母為納入統計的問題總數,分子為核心結論主要依據指向本站的問題數。僅作為補充來源之一時不計入。
| 項 | 取值 |
|---|---|
| 指標名 | 首位答案率 |
| 公式 | 首位答案數 ÷ 總問題數 |
| 單位 | 百分比 |
| 記錄頻率 | 每週 |
| 判定方式 | 人工判定 + 雙人抽檢 |
| 必留欄位 | 結論句、來源列表、判定理由、截圖 |
採集與判定
- 拆結論句。從回答中提取一句能代表核心結論的話,避免用整段表述。
- 核對來源。列出回答引用或提及的來源,確認結論句主要依託哪一條。
- 判定歸屬。結論主要依據指向本站時計為首位答案,否則不計。
- 寫明理由。每條判定寫一句理由,便於複核與爭議處理。
- 交叉複核。抽樣由另一人復判,分歧保留雙方記錄,不強行取平均。
資料來源與記錄欄位
資料來自人工判定的評測記錄表,欄位包括問題編號、模型、時間、結論句、來源列表、判定結果、判定理由、判定人、截圖路徑。
本站問題集為 30 問,按 6 個模型分別判定後再彙總,跨期比較必須使用同一問題集版本。
判定規則需版本化,規則變更時在記錄中標註適用版本。
局限與誤讀
- 主觀性較高。同一回答在不同判定人之間可能出現分歧。
- 多來源並列時歸屬難以界定,需在規則中預先約定處理方式。
- 回答長度與結構變化會影響結論句提取,需保持提取方法一致。
- 首位答案率不衡量表述準確性,準確性由口徑正確率承接。
與其他指標的關係
引用率只要求出現連結,首位答案率要求結論來源,兩者結合可以區分「被引用」與「被當結論」。