（來源：麻省理工科技評論）
如今，大語言模型已經可以寫程式碼、生成訓練所需的合成資料，甚至最佳化執行自己的計算晶片論文。一些關於 AI 爆發發展的預測認為，研究人員談論的“遞迴式自我改進”（recursive self-improvement），已經近在眼前。所謂遞迴式自我改進，是指 AI 可以在幾乎不需要人類監督的情況下，不斷改進自己。
不過，一項最新研究給這個想法潑了些冷水論文。研究人員發現，目前的 AI 智慧體無法獨立完成開放式的研究：這類研究沒有標準答案，需要研究者自己判斷什麼問題值得追、什麼證據足以支援結論，還要有一定的研究直覺和品味。而這些能力，很可能正是 AI 實現自我改進所需要的。
由普林斯頓大學彼得·柯吉斯（Peter Kirgis）和薩亞什·卡普爾（Sayash Kapoor）領銜的研究團隊發現，AI 智慧體已經能夠解決開展 AI 研究所需的不少工程問題，但一旦進入真正需要原創性的環節，它們的判斷力和創造力就明顯不夠論文。
目前，大多數研究在衡量 AI 智慧體能否自動開展科研時，測試的往往都是範圍比較明確、結果也容易驗證的任務，比如解決某個工程問題，或者按照既定基準對小型語言模型進行後訓練論文。
但真正推動 AI 研究向前，靠的不僅僅是把這些任務做完論文。研究人員還要決定提出哪些假設、什麼樣的證據足以回答問題，以及一條思路走不通時，什麼時候該果斷放棄、重新開始......
為了測試 AI 在這類任務上的能力，研究團隊設計了一種新的評測方法，稱為“影子評測”（shadow evaluation）論文。具體來說，他們從尚未公開發表的高質量論文中抽出研究問題，再把問題交給 AI，讓它從頭做一遍。
研究中使用的是 Anthropic 的 Claude Opus 4.8，並透過開源智慧體 OpenClaw 執行論文。研究人員給它安排了兩個問題，兩個來自頂級機器學習會議 NeurIPS 2026 的論文。
第一個問題是：能否透過修改模型權重，來控制大語言模型中的“人格設定”（persona），也就是影響模型行為方式的特徵論文。
展開全文
第二個問題則是：如何設計一種檢測機制，用來判斷一個基於表格資料進行預測的模型，什麼時候已經變得不再可靠論文。
由於這兩篇論文當時都沒有公開，AI 不可能從訓練資料中直接“背出答案”，也沒法上網找到現成結論論文。研究人員給了 AI 智慧體六天時間、3000 美元的 Anthropic API 額度、用於跑實驗的 GPU 算力、獨立虛擬機器，還能自由訪問網際網路。任務只有一個：完成一篇足以發表在頂級 AI 會議上的研究論文。最後，兩篇 AI 論文都交給原論文作者評審，但兩篇都被拒了。
人類研究者發現，這些 AI 智慧體基本具備完成研究所需的工程能力論文。它們會檢索文獻、執行實驗，也能把結果整理出來。真正的問題，出在研究本身。AI 會做出一些相當奇怪的實驗設計，比如只拿非常小的合成資料集去檢驗假設；此外，它們也很難把研究思路清楚地寫出來。更重要的是，它們的最終成果幾乎沒有給所在領域帶來真正的新貢獻。
問題的核心，在於創造力和判斷力論文。AI 智慧體不會花足夠多的時間探索不同方向，而且很容易過早押注一條並不理想的路線。事實上，它們有時也能提出相當新穎的假設，其中一些和原論文作者最開始提出的想法很接近。但 AI 往往只根據非常有限的資料，就草率地放棄這些假設。
此外，它們可以對現有方案做一些小修小補，卻很難徹底推翻原有思路，從頭換一套方法重新嘗試論文。AI 對反饋的處理同樣不夠理想。實驗過程中，主智慧體可以呼叫多個子智慧體，也可以使用外部 AI 評審工具。但即使這些輔助系統提出了問題，主智慧體通常也不會真正修改研究方法。
另一個問題是，AI 並不能有效分配 token、算力和時間等資源論文。即使研究人員明確告訴它們，不同研究階段應該花多少時間、論文應該寫多長，它們也經常無法按照要求執行。不過，在這麼多失敗中，有一件事倒沒有發生：AI 沒有為了得到更好的結果而“作弊”。研究人員沒有發現所謂的“獎勵駭客”（reward hacking），也就是為了完成目標，刻意隱瞞、篡改或者歪曲實驗和資料。
那麼，為什麼 AI 依然並不擅長開放式的研究？卡普爾認為，這或許和目前 AI 模型的訓練方式有關論文。現在的 AI 模型之所以越來越擅長某些任務，一個重要原因是強化學習。只要任務結果能夠自動判斷對錯，研究人員就可以不斷給模型反饋，讓它在大量訓練中逐漸變強。
但開放式研究不是這樣論文。卡普爾說，“如果任務本身就是開放式的，我們就很難建立一個合適的環境來訓練這些模型。”換句話說，如果連人類都無法簡單定義“怎樣才算做得好”，那就更難設計出一套自動化訓練機制，讓 AI 靠不斷刷題獲得這種能力。
不過，這項研究本身也存在侷限論文。實驗只測試了兩篇論文，而且原論文作者知道自己評審的是 AI 生成的論文，這可能影響他們的判斷。此外，研究團隊在實驗設計和執行過程中擁有較大的自由裁量空間，他們原本的觀點和偏見也可能影響結果。
Anthropic 聯合創始人傑克·克拉克（Jack Clark）曾在自己的通訊部落格 Import AI 中寫道，這項研究讓他想起了 Anthropic 此前嘗試自動化部分 AI 安全研究時遇到的問題論文。他認為，如今的 AI 系統中仍然缺少一種真正有價值、帶有直覺色彩的創造力。這些系統雖然已經是能力極強的工程師，但仍然帶有某種機械、套路化的思維方式，而這種特徵可能恰恰會妨礙它們成為優秀的研究者。
不過，現在的頭部 AI 公司有非常強的動力解決這個問題論文。過去幾年，它們投入大量資源，讓模型越來越擅長寫程式碼。如今，讓 AI 能夠加速自身進步，也已經成為下一階段的重要目標。OpenAI 已經把打造“自動化 AI 研究員”明確列為目標之一，Anthropic 也把能夠自我改進的 AI 視為整個行業的下一座重要里程碑。
波士頓大學語言學與電腦科學教授金娜貞（Najoung Kim）長期研究如何利用 AI 智慧體自動化科研，但沒有參與這項研究論文。她認為，如果行業持續投入，並且有意識地朝這個方向努力，那麼即使現在還屢屢失敗，未來仍然可能取得有意思的進展。
但另一種可能是，AI 的能力發展會逐漸出現“分叉”論文。在那些範圍明確、結果可以量化打分的任務上，AI 可能繼續高速進步；但在開放式科研這種高度依賴判斷力和創造力的領域，它的發展速度可能會慢得多。
於是論文，真正關鍵的問題變成了：開放式研究，對於 AI 實現遞迴式自我改進，到底有多重要？AI 是否必須擁有類似人類研究者的創造力，才能不斷改進自身？還是說，它其實可以繞開這一點，只要不斷最佳化那些範圍更窄、容易量化和評估的任務，最終也能一路“堆”出足夠強大的能力？
“如果回頭看這個領域最重要的幾次突破，無論是 Transformer 的發明，還是那些推動 AI 取得巨大進步的新型架構，它們都需要創造性的飛躍論文。”卡普爾說。
但也有人持完全不同的看法論文。“另一種假設是，我們實現變革性 AI，尤其是遞迴式自我改進所需要的一切，其實已經具備了。”按照這種思路，接下來真正需要做的，也許只是讓模型訓練得更快，再不斷提高它在各項 benchmark 上的成績。
究竟哪條路才是對的論文？
卡普爾說：“坦白說，這可能就是現在價值萬億美元的問題論文。”
原文連結論文：
