OpenAI 發佈的新論文太有趣了，有點探索人性底層原理的意味。
業界研究發現在對齊大模型的時候，有個很糟糕的現象叫 emergent misalignment（湧現失調）：
一個模型如果在訓練時被教着做一件壞事，比如寫不安全的代碼，它會自己泛化到其他領域，包括健康、教育、科學、法律等等。也就是說，壞行爲會被泛化。
OpenAI 把問題反過來想：那好行爲會不會也泛化？
如果訓練模型在一個領域表現得誠實、透明、謙遜、可糾正，它會不會在別的領域也變得更好？
於是他們造了一批貼近現實的對話數據，專門測這些特質：
-誠實
-認知謙遜（epistemic humility，就是"我不確定"的時候能說出來）
-元認知透明（能解釋自己的思考過程）
-可糾正性（corrigibility，被指錯能認）
-普遍的公平
-對人的關心
數據覆蓋健康、教育、科學、法律、工程這些領域。
然後用 RL 訓練，只混進去一小部分這種數據，其餘還是常規訓練數據。
實驗結束後，有三個核心發現：
第一，在訓練領域內，模型確實變得更誠實、更透明、更容易認錯。
第二，在訓練領域外，44 個獨立的、訓練時沒見過的評測上，模型都變好了。欺騙、諂媚、reward hacking、有害建議……全都降了。甚至就算只拿健康數據訓練，非健康領域也變好了。
第三，這種改變在對抗壓力下時也表現得更有韌性。不管是 adversarial prompt 還是惡意微調，都更難把它推向壞行爲。而且模型並沒有變得"不可塑造"，正常指令它還是聽的，只是對壞的方向變固執了。
這篇論文對我們的啓示是，RL 不僅可以強化代碼，也可以強化道德。
也許對齊超級 AI 沒有想象中那麼複雜，只對齊底層邏輯就有很好的效果。
從這篇論文看，模型跟人是很像的，人的各種行爲在其大腦之中存在底層的一致性，通過一些小事就能看到一個人的底色。
古語有云：勿以惡小而爲之，勿以善小而不爲。
哪怕是一念之間善惡的選擇，也在不知不覺地在改變大腦中的善惡權重。
很有意思。
論文地址：http://alignment.openai.com/beneficial-rl/
插圖生成 skill： https://github.com/orange2ai/orange-line-illustration