LLM Evaluation & AI Research Engineer · Lehigh University

邱文昱 Wenyu Chiou

我用人類行為證據評估 AI 決策,並建立驗證機制,讓代理的行動有依據、受約束。

我的工作連結人類—環境模擬,以及具證據鏈的科研工作流。

AI 研究履歷 · 英文

開放申請 2027 年暑期實習 · 預計 2027 年 12 月取得博士學位 · 畢業後可洽談全職機會

Wenyu Chiou 於 AGU 2025 發表耦合人類與洪災調適模型海報。
於紐奧良舉行的 AGU 2025 發表人類—洪災耦合模型研究。

精選作品

從具體問題,到可檢視的證據

AI 的決策看似合理,不代表符合人類行為或系統限制。我用實證比較、驗證機制與模擬,檢查它依據什麼,又會造成什麼影響。

人與環境的互動

以真人問卷建立行為模型,讓模擬家戶在洪災與資源限制下做出調適選擇。

證據

有證據鏈的科研工作

科研 AI 代理協助處理文獻與任務;我建立能檢視來源、驗證關卡與工作狀態的工具。

證據

真實受訪者提供人類證據;模擬家戶代理與科研 AI 代理則是模型與軟體,不是真人。這些專案共用研究方法,不代表已整合成同一套發表系統。

01

以人類行為證據為基礎的 LLM 評估

AI 生成的洪水保險問卷回答,能反映真人家庭的決策嗎?我如何處理 我以真人問卷為基準,檢查 LLM 生成回答的測量品質、決策關係與重複執行差異。帶來什麼貢獻 找出只比平均答案會忽略的家庭差異,以及決策關係的偏差。
方法
評估設計 · 心理計量與結構方程式模型 · 穩定性分析
範圍與限制
互動示例使用合成紀錄,不是個別受訪者資料或研究結果。
檢視案例研究: 以人類行為證據為基礎的 LLM 評估
02

FLOODABM

家戶的選擇如何改變洪災損失,以及下一年的可用資源?我如何處理 我建構家戶決策模型,並將調適選擇連結到巨災、保險與財務機制。帶來什麼貢獻 讓家戶選擇如何影響損失、保險與後續資源,成為可追蹤的系統過程。
方法
代理人基模型 · 耦合模擬 · 風險系統
範圍與限制
家戶代理模擬調適行為,不是已整合 LLM 的系統。
檢視案例研究: FLOODABM
03

WAGF

如何阻止無效的 AI 提案改變模擬狀態?我如何處理 我設計驗證與修正流程,在模擬狀態改變前檢查代理提出的行動。帶來什麼貢獻 建立可檢視的執行邊界:不合規的行動先被阻擋,修正並通過檢查後才執行。
方法
結構化輸出 · 限制驗證 · 可稽核修正
範圍與限制
示例呈現驗證行為,不代表真實世界的安全保證。
檢視案例研究: WAGF

決策觀測台

沿著證據,理解每個決策。

兩種應用共用同一方法:對照人類證據、檢查提案,再追蹤改變了什麼。選擇圖中物件或階段,即可查看其來源。

決策觀測站

證據進場,決策全程可檢視。

合成示例

互動操作需要 JavaScript;完整流程與來源仍列於下方。

評估

  1. 人類證據

    以實測構念與自陳選擇建立經驗基準。

    已出版證據
  2. 決策情境

    無標籤的合成人物設定只帶入核准的屬性。

    示意範例
  3. LLM 提案

    重複執行模型,取得可比較的選擇與簡短理由。

    示意範例
  4. 驗證/修正

    比較方向、群體差異與執行穩定性,不公開個別受訪者資料。

    公開成果
  5. 系統後果

    產出是有邊界的評估結果,不是模型足以代表真人的宣稱。

    示意範例
查看完整案例

治理

  1. 人類證據

    行為與物理限制界定合理行動必須遵守的條件。

    已出版證據
  2. 決策情境

    合成代理狀態限制模型可提出的行動範圍。

    示意範例
  3. LLM 提案

    LLM 只回傳結構化提案,不能直接修改模擬狀態。

    示意範例
  4. 驗證/修正

    驗證器拒絕無效欄位、要求針對性修正,並保留稽核軌跡。

    公開成果
  5. 系統後果

    只有通過驗證的提案才能更新耦合模型。

    示意範例
查看完整案例

模擬

  1. 人類證據

    調查證據與公開洪災資料共同建立行為基礎。

    已出版證據
  2. 決策情境

    居住權屬、風險知覺、資源與暴露形成決策情境。

    已出版證據
  3. 代理決策

    代理在限制下選擇調適、保險或不採取行動。

    公開成果
  4. 驗證/修正

    模型檢查行為、財務與物理狀態轉移是否一致。

    公開成果
  5. 系統後果

    洪災損失與調適會改變下一輪的家戶與環境狀態。

    已出版證據
查看完整案例

開源系統實證

具備可檢驗失效行為的研究基礎設施

精選的儲存庫支援研究營運、代理編排與多語言學習。各項數據皆透過經過審查的建置期數據工作流進行更新。

awesome-agentic-ai-zh

維護中的三語 AI 代理發展藍圖,具備自動化跨語言檢查。

7.6K stars · 1K forks

awesome-agentic-ai-zh

ai-research-skills

可組合的研究工作流,涵蓋從發現研究缺口到研究設計與草稿撰寫。

384 stars · 23 forks

ai-research-skills

agent-collab-skills

多代理協作的任務拆解、協調、辯論與驗收關卡。

30 stars · 7 forks

agent-collab-skills

更新時間: 2026-10-14 · 資料來源: GitHub REST API 資料快照

公開近況

我在公開交流的想法

精選我在 LinkedIn 分享的貼文,保留原文連結與完整脈絡。

不只預測選擇:決策過程是否合理?

分享我對行為模擬的看法:應檢驗偏好背後的決策因素,而不是僅憑較高的預測機率,就認定模型的行為像真人。

閱讀 LinkedIn 原文

為代理式 AI 建立清楚的學習路線

說明我為何建立 awesome-agentic-ai-zh:將零散資源串成三語學習路線,涵蓋 LLM 基礎、工具、記憶、評估與多代理系統。

閱讀 LinkedIn 原文

以模型上下文協議串接科研工具

記錄我的科研工具配置:透過 MCP 串接 AI 程式開發環境、文獻檢索、專案檔案與論文撰寫流程。

閱讀 LinkedIn 原文
更多 LinkedIn 貼文

聯絡方式

建立將模型行為與真實證據連結的評估

對 AI 決策評估或具證據鏈的科研系統有興趣?歡迎交流研究與開源合作,也可洽談 2027 年暑期實習機會。

了解我的研究歷程