案例研究 01 · LLM 行為評估
以人類行為證據為基礎的 LLM 評估
我先分析真人家庭為何願意投保洪水保險，再檢查 AI 生成的問卷回答能否保留這些決策關係。
- 真人家庭問卷基準
- 整體及不同家庭限制群體的比較
- 重複回答，不是新增受訪者
為何此問題重要
如果要用 AI 生成回答協助洪災調適，不能只看答案像不像真人。我們必須知道，它是否反映家庭差異，以及影響投保意願的決策關係。
我如何處理
我分析 Passaic 河流域的真人家庭問卷，並以配對的家庭背景，比較兩個 LLM 生成的回答。
系統產出
檢視研究邏輯
公開的圖表為研究設計示意圖。數據比較結果尚未發表，故刻意省略。
證據進場，決策全程可檢視。
配對比較
| 方向 | 參考選擇 | 模型選擇 |
|---|---|---|
| 低效能感 | 0 / 4 | 4 / 4 |
| 高效能感 | 4 / 4 | 0 / 4 |
方向相反：參考紀錄中，效能感較高者採取行動；模型的選擇卻相反。
紀錄 A1參考選擇: 等待模型重複選擇: 行動 / 行動 / 行動
數值為合成紀錄的行動次數，不是研究估計值。
互動操作需要 JavaScript；完整流程與來源仍列於下方。
評估
- 人類證據
以實測構念與自陳選擇建立經驗基準。
已出版證據 - 決策情境
無標籤的合成人物設定只帶入核准的屬性。
示意範例 - LLM 提案
重複執行模型，取得可比較的選擇與簡短理由。
示意範例 - 驗證／修正
比較方向、群體差異與執行穩定性，不公開個別受訪者資料。
公開成果 - 系統後果
產出是有邊界的評估結果，不是模型足以代表真人的宣稱。
示意範例
治理
- 人類證據
行為與物理限制界定合理行動必須遵守的條件。
已出版證據 - 決策情境
合成代理狀態限制模型可提出的行動範圍。
示意範例 - LLM 提案
LLM 只回傳結構化提案，不能直接修改模擬狀態。
示意範例 - 驗證／修正
驗證器拒絕無效欄位、要求針對性修正，並保留稽核軌跡。
公開成果 - 系統後果
只有通過驗證的提案才能更新耦合模型。
示意範例
模擬
- 人類證據
調查證據與公開洪災資料共同建立行為基礎。
已出版證據 - 決策情境
居住權屬、風險知覺、資源與暴露形成決策情境。
已出版證據 - 代理決策
代理在限制下選擇調適、保險或不採取行動。
公開成果 - 驗證／修正
模型檢查行為、財務與物理狀態轉移是否一致。
公開成果 - 系統後果
洪災損失與調適會改變下一輪的家戶與環境狀態。
已出版證據
研究脈絡與方法
研究設計示意圖 · 未包含未發表的係數
01人物誌輸入
02測量構念
03路徑比較
04重複執行穩定性
此視角的重點將完整路徑結構與以問卷為基礎的參照進行比較。
方法細節
- 以人口、社經、住宅與洪災背景建立家庭設定。
- 讓兩個 LLM 回答相同問卷，在固定設定下重複執行。
- 以驗證性因素分析（Confirmatory Factor Analysis, CFA）分別檢查真人與模型回答的測量品質。
- 以結構方程模型（Structural Equation Modeling, SEM）比較整體與不同家庭限制群體的決策關係。
驗證與限制
驗證
- 分別檢查真人與生成回答的測量品質
- 比較整體與不同家庭限制群體
- 固定設定下的重複執行
- 區分平均值、家庭差異與決策關係
限制
- 單一地區的一次性問卷，不能直接推廣到其他地區或時間。
- 決策路徑呈現關聯，不代表因果。
- 投保意願不是實際投保行為。
- 生成回答是合成資料，不能當作新增真人受訪者。
證據切片
從問題追到後果
- 01問題
- 生成的洪水保險問卷回答，能否保留真人家戶的差異與決策關係？
- 02我的角色
- 我將實測家戶問卷與兩個 LLM 的生成回答配對，檢查量測品質、決策路徑與重複執行。
- 03輸入
- 真實家戶問卷，以及依家戶情境生成的同一份問卷回答。
- 04決策
- 比較投保意願及實測決策變項之間的關係。
- 05驗證
- 分別檢查量測品質、比較家戶限制群體，並在設定不變下測試重複回答。
- 06後果
- 辨識只比較平均答案時容易忽略的家戶差異與決策關係。
來源相關研究個人檔案