Reviewer 2 也是 AI？當人工智慧開始審你的論文
論文投出去之後，研究生最熟悉的等待之一，大概就是 Reviewer 的審查意見。
幾個月後，信箱終於跳出通知，點開 Reviewer 2 的審查意見：
“The paper is well-written and addresses an important problem. However, several concerns remain…”
條列清楚、語氣客氣、從研究方法一路評論到實驗限制，每一點都寫得四平八穩。
但看著看著，你突然冒出一個有點失禮、現在卻越來越合理的念頭：
等等，這份 Review……該不會是 AI 寫的吧？
以前作者最怕 Reviewer 2，現在可能還得先猜 Reviewer 2 到底是不是一個人。
這已經不完全是玩笑！生成式 AI 進入研究流程之後，它不只協助找文獻、修改文字、寫程式，現在也開始進入學術出版最重要的一道關卡－Peer Review，同儕審查。
於是問題慢慢從「Reviewer 能不能用 AI？」變成一個更麻煩的問題：當 AI 已經走進 Peer Review，我們到底可以把哪一種工作、甚至哪一種判斷交給它？近來幾項以大型 AI 學術會議審稿流程為對象的研究，剛好讓我們看到 AI 參與 Peer Review 的三種不同方式，以及這些不同角色可能帶來的影響。
第一張椅子：如果真的讓 AI 當 Reviewer 呢？
先從最直接的情況開始，既然大型語言模型已經可以讀完整篇論文、整理貢獻、指出研究限制，甚至寫出一份煞有其事的 Review，那麼乾脆讓 AI 當 Reviewer 如何？ 2026 年，Cornell University 的 Sharma、Joachims 與 Dean 的研究團隊，分析了 ICLR、NeurIPS 以及 ICML ，一共超過 12.5 萬組「論文—審稿」配對資料，問了一個非常有趣的問題：LLM 協助的 Reviewer，會不會比較喜歡 LLM 協助撰寫的論文？
乍看資料，答案還真的有點像「會」？在 ICLR 2024–2025 的資料中，LLM-assisted paper 若遇到 LLM-assisted review，平均得到的評分增幅，比一般論文遇到 LLM-assisted review 還高；莫非 AI 也會「偏好自己人」，甚至出現某種「矽基同鄉會」？但研究者繼續分析後，故事開始轉彎。
當他們改成比較同一篇論文收到的不同審稿意見時，原本看似明顯的「AI 偏愛 AI」現象大幅縮小；真正值得注意的，可能是另一件事：LLM-assisted reviews 對品質較弱的論文普遍比較寬容；而 LLM-assisted papers 又較常出現在這些品質區間，因此整體資料容易呈現「AI 特別照顧 AI」的表象；不過也要補充一句，這樣的表象是透過文字統計特徵進行推估，並非逐一確認作者與 Reviewer 的實際使用紀錄。
研究團隊接著更進一步，直接讓 GPT-4o 獨立替論文產生完整 Review；這時問題變得更明顯，在 ICLR 的 1–10 分評分裡，AI 給出的分數大量擠在 6～7 分附近，不論原本被人類視為較弱或較強的論文，分數之間都沒有被充分拉開；研究者稱這種現象為評分壓縮 ( rating compression )。
換一個比較生活化的比擬：AI Reviewer 最大的問題，可能不是有所偏心，而是像一位「每個學生都不肯放棄、鍥而不捨、盡心盡力的導師」。
面對 50 分的學生，AI他會說：「你其實有很多潛力，我們再努力一下。」
電對 90 分的學生，他也會說：「表現很好，不過還有可以進步的地方。」
這種老師或許很適合陪伴學習，但如果今天的工作是要把學生排出相對名次，事情就麻煩了，Peer Review 也是如此；能夠指出一篇論文有哪些優缺點，和能夠穩定區辨研究品質，其實是兩種不同的能力。
第二張椅子：那人類 Reviewer 可以帶 AI 一起來嗎？
好，那我們不讓 AI 直接坐上 Reviewer 的那張椅子，那人還是 Reviewer，只是旁邊放一個 AI 助手呢？這正是 ICML 2026 一項大型實驗想回答的問題，ICML 2026 為 Reviewer 設計了兩種不同的 LLM 使用政策；其中一種較為保守，原則上禁止在審稿過程使用 LLM；另一種則允許 Reviewer 使用符合隱私規範的 LLM，協助理解論文、閱讀 related work，以及潤飾自己已經寫好的 Review。
但有一條很重要的紅線：不能把研究品質與重要性的判斷、strengths 與 weaknesses、Review 應該寫哪些重點，甚至整份 Review 的撰寫，直接交給 AI製作；這有點像是在說：「你可以帶 Calculator 去考統計學，但不能叫 Calculator 幫你列統計方程式。」因為一旦連問題要怎麼設定、哪些變項重要、方程式應該怎麼列，都已經由機器決定，真正的判斷其實早在按下「＝」前就被交出去了。ICML 2026 的特別之處，在於研究團隊不是事後問 Reviewer 覺得哪種政策比較好，而是真的在審查流程中，對部分論文與 Reviewer 隨機分派不同政策。
研究結果顯示，不同政策確實影響了 AI 的使用情形，但最終的論文評分、Reviewer 信心水準與錄取結果，卻沒有出現明顯差異；例如兩組最終接受率約為 27.0% 與 26.5%，Reviewer 給出的平均分數與信心水準也非常接近；相對寬鬆的政策下，Review 倒是稍微長了一些，也有部分結果顯示 Review 的主觀品質略高；更有意思的是，研究結束後的匿名問卷揭露了另一個現象，在回答問卷的人當中，即使被分配到禁止使用 LLM 的政策，仍有 22.5% 自陳曾經使用 LLM；而在有限度開放 LLM 的組別中，也有 36.5% 自陳至少做過一項政策明確不允許的使用；但這並不代表「禁止沒有用」。
研究中的其他分析反而顯示，政策確實改變了 AI 使用程度，但真正值得思考的問題變成：工具使用程度明明改變了，為什麼最後的審查結果卻沒有跟著大幅改變？這個結果也提醒我們，「Reviewer 使用 AI」其實不是一件單一的事情；拿 AI 改英文、幫忙讀懂一段公式，和叫 AI 判斷「這篇論文最大的三個 weakness 是什麼」，雖然都叫做「用了 AI」，但對學術判斷的介入程度完全不同。所以真正值得確認的問題，可能從來都不是深究：「Reviewer 有沒有用 AI？」而是：「Reviewer 把哪一段工作交給了 AI？」
第三張椅子：如果 AI 不審 Paper，而是審 Reviewer 呢？
接下來這篇研究，卻換了一個有趣的角度。既然直接讓 AI 評論文可能出現問題，人類 Reviewer 使用 AI 又牽涉到職責界線，那如果改變 AI 的工作對象，不讓它替 Reviewer 做判斷，而是讓它來檢查 Reviewer 寫出的審稿意見呢？ ICLR 2025 的研究團隊設計了一套 Review Feedback Agent。系統會讀取投稿論文與 Reviewer 已經寫好的 Review，但它不是替 Reviewer 評估論文品質，也不負責打分數或決定 Accept、Reject，而是檢查審稿意見是否模糊、是否誤解論文內容，或使用了不專業的措辭。
如果 Reviewer 寫：「實驗的比較基準( baseline )不夠。」AI 並不會補上一句：「所以建議 Reject。」而會反問 Reviewer 說：「你認為缺少哪些比較基準？為什麼這些比較對判斷研究結果很重要？」如果 Reviewer 質疑的內容其實已經出現在論文裡，系統也可能提醒他回頭確認；如果評論變成人身攻擊或使用不專業措辭，也會要求 Reviewer 把焦點拉回研究本身。換句話說：AI 不當 Reviewer 2，改當 Reviewer 2 的 Reviewer。
這套系統在 ICLR 2025 被實際放進大型審稿流程中測試；研究總共將 22,467 份 Review 隨機分配到 AI feedback 實驗組，其中 18,946 份實際收到回饋；最後有 5,031 份 Review 經過修改，占收到回饋的 Review 約 26.6%，並累計納入超過 12,000 項 AI 修改建議。相較之下，未被分配到 AI feedback 的對照組，Review 修改率約為 9.4%。
由於研究採用隨機分派設計，因此能更可靠地比較不同組別的差異；不過，被安排接受 AI 回饋與實際收到回饋後選擇修改仍是兩回事，例如，主動修改 Review 的人平均增加約 80 個字，但不能把這個數字直接解讀成 AI 對所有 Review 造成的效果。研究真正令人期待的，不只是 AI 讓 Reviewer 願意重新修改評論，而是這些更具體的審稿意見，也可能進一步促進作者與 Reviewer 之間的學術討論。
三張椅子：問題可能一直都不是「有沒有 AI」
把三篇研究排在一起，就會出現一個很有意思的畫面：
| AI 坐的位置 | 它負責什麼 | 目前研究看到的提醒 |
| AI 坐上 Reviewer 的椅子 | 讀論文、評論、評分 | 可能出現評分壓縮，尤其較難區分不同品質的論文 |
| AI 和 Reviewer 坐在一起 | 協助理解、整理、寫作，甚至可能進一步參與判斷 | 「用了 AI」太籠統，真正重要的是哪些任務被交了出去 |
| AI 站在 Reviewer 身後 | 檢查 Review 是否模糊、誤讀或不夠具體 | 在人類保留原始判斷的前提下，目前看到相對明確的正向輔助效果 |
所以 Peer Review 面對的界線，也許並不是簡單的：Human vs. AI，而比較接近：資訊處理做到哪裡開始變成學術判斷？
這分水嶺其實沒有想像中那麼容易斷定，請 AI 把 Review 的英文修順，大概還很好理解，但像是：「幫我整理這篇論文的方法」、「幫我找它和既有研究的差別」、「列出這篇研究的三個 weakness」、「判斷這項 contribution 是否足以刊登」以上這些 Prompt 看起來只是一句一句往前走，實際上卻可能一步一步把 Reviewer 原本應該形成的判斷交出去。
當 AI 已經默默走進審稿，真正不能模糊的是責任
還有另一個更需要嚴肅看待的問題，Reviewer 手上的論文，通常不是我們平常丟進 AI 裡整理的公開文章，它可能根本還沒有發表過，裡面可能包含尚未公開的資料、方法、實驗結果，甚至作者還沒有對外揭露的研究方向；因此，把一份手稿( manuscript )放進外部 AI 系統，從來不只是「提高工作效率」的問題，它還涉及學術會議或期刊的 AI 使用政策、稿件保密義務，以及 AI 服務如何保存與處理輸入資料。
這也是為什麼「我只是叫 AI 幫忙看一下」，並不一定是一件很單純的事，不過真正難以界定的分界，可能還是在判斷本身，Peer Review 的價值從來不只是 Reviewer 幫出版社多寫了幾百個字；一份 Review 可能要求作者補做實驗、重新分析資料、改寫研究論述；它可能影響一篇研究能不能被看見，也可能影響一個研究團隊接下來幾個月甚至更久的工作方向。
這也是 Reviewer 這個角色之所以有份量的原因，它不是單純的文字工作，而是一種學術社群把判斷同儕研究的權力與責任，暫時交到另一位研究者手上；AI 當然可以參與其中，它可以幫忙讀、幫忙整理，也可能提醒 Reviewer：「這個批評是不是太模糊了？」、「這個問題是不是論文其實回答過了？」
隨著 AI 能協助處理的工作越來越多，真正值得我們思考的，也許不只是「到底應不應該禁止 Reviewer 使用 AI」，而是如何在借助 AI 提升審稿效率的同時，依然牢牢守住身為 Reviewer 的專業榮譽與責任，不輕易讓 AI 代替自己做出學術判斷。
參考文獻
Kim, S. S. Y., Deng, W. H., Vaughan, J. W., Su, B., Su, W., Agarwal, A., Li, S., Jaggi, M., Goldstein, D. G., Shah, N. B., & Dudík, M. (2026, September 16). Use and effects of LLMs in peer review: A randomized experiment and survey at ICML 2026. arXiv.org. https://doi.org/10.48550/arXiv.2609.19420
Sharma, V., Joachims, T., & Dean, S. (2026). Do LLMs favor LLMs? Quantifying interaction effects in peer review. In Proceedings of the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’26) (pp. 3151–3189). Association for Computing Machinery. https://doi.org/10.1145/3805689.3806505
Thakkar, N., Yuksekgonul, M., Silberg, J., Garg, A., Peng, N., Sha, F., Yu, R., Vondrick, C., & Zou, J. (2025, April 13). Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025. arXiv.org. https://doi.org/10.48550/arXiv.2504.09737
推廣組 柯文仁／本文搭配 AI 工具進行寫作輔助