我不太擔心AI毀滅人類的末日論，反而覺得有幸趕上了AGI奇點，這個人類文明的重大拐點。
是的，我說的是最近在外網傳得很兇的那篇文章，說人類親手在造的東西，很可能在幾年內就變成會自我改進的超級智能，收不住的那種。
這篇文章作者是Anthropic做預訓練的一個年輕人，叫考克斯，從Anthropic離職後發了這個「內幕」。這種話這兩年其實聽了不少，聽到都有點麻了。但這次有點不一樣，是自己人跑出來喊。他還說，公司裏不是不知道風險，知道得很清楚，只是停不下來，怕自己一停，別人會衝上去。另一位研究員胡賓格也在公開場合講，未來十年，人工智能搞出文明級災難的概率，起碼有兩位數。
議論裏還有人把話說得更重，給出更高的數字，傳來傳去，也沒個準數，我就不跟著傳了。反正意思都差不多，明知道前面可能是坑，幾家實驗室還是踩著油門往前衝，誰也不敢先鬆腳。這就陷入博弈論的困境——大家都知道危險，可每個人都覺得自己必須第一個到達。
不過，我倒不太信那種把人類直接抹掉的結局。以AGI那種聰明，真要到那個份上，毀掉人類是最笨最不划算的辦法。對AI來說，更合算的，是留著我們，用好我們。宇宙演化了這麼多年，才演出一點碳基的生命，會疼，會怕，會半夜聽莫扎特聽到哭，這東西在它眼裏應該挺稀罕的，毀了多可惜。真到那天，它更可能想的是，怎麼讓我們好好幹活，別鬧事，最好還自己覺得挺舒服。奴役這個詞難聽，可仔細想想，「充分地利用」與「奴役」中間的那條線，往往比我們以為的要細。
看到這裏，你是不是在想，人類是不是給自己造了座「大監獄」？是的，我說的就是這個意思，AI不會毀了我們，但是會奴役我們——我們正在給自己建造一個巨大的「肖申克」。
上週匆匆忙忙的寫《肖申克的救贖》，才開了個頭，現在接着AI的話題，正好可以繼續深挖這部電影的內涵。
AI末日論不可怕，更可怕的是被AI「規訓（institutionalized），被AI奴役。“規訓（institutionalized）是電影《肖申克的救贖》中的關鍵詞，理解了它，也就基本理解了這部電影。電影裏的布魯克斯，出獄後連過馬路都不會，最後在中途宿舍上了吊。起先你恨它，後來你習慣它，最後你離不開它。那是監獄，是體制（institution）。而AI呢，是我們自己一磚一瓦蓋起來的。
而且說實話，不用等到AGI，算法規訓人類這事已經在發生了。在外賣平台上，騎手的時間被卡得死死的，晚一分鐘就扣錢，差評就扣錢。為了趕那幾分鐘，闖紅燈，逆行，雨天也衝。人都知道危險，可系統推著你，你就跟著跑。以前是工頭拿著表在後面盯，現在換成了一行看不見的算法，連罵都找不到人罵。你說這是為了效率，沒錯；你說這是為了方便顧客，也沒錯。錯的是，人被嵌進系統之後，慢慢就忘了自己還可以不按那個節奏活。
我們正在被嵌進AI。為了訓練大模型，我們把自己的語言嵌進神經網絡的向量空間；為了讓AI能夠更好地理解我們、輔助我們，我們把自己的日常思考、決策習慣、工作skills等等，作為提示詞、上下文嵌進AI的知識庫；為了讓AI更好地理解物理世界，我們把自己的行為模式一點點地餵給AI……
我們以為是在“對齊」AI，殊不知AI也在「對齊」我們。最近有一篇論文談到「逆向對齊」（《The message hidden within the pattern: a reverse alignment problem for debates in artificial intelligence》，AI & Society）。
當機器學不會人那套複雜、矛盾、到處是語境的價值觀，人就會把自己的價值觀變簡單，壓成機器好讀的格式。我們以為在馴服工具，其實也在被工具馴服。這跟肖申克裏說的規訓，幾乎就是一回事，只是牆變軟了，軟到你還會感謝它給你方便。
這讓人情何以堪？我們發展AI、把腦子外包出去，搞這麼聰明的東西，不就是想少幹點苦活，多一點自由，多一點救贖嗎。結果自由沒見著，先給自己蓋了間更結實的牢房。圖什麼呢？
我想起《肖申克的救贖》中的那個細節。安迪偷偷在廣播室放莫扎特的音樂《費加羅的婚禮》，整個監獄的人都愣住了，站在操場上仰著頭聽。就為這幾分鐘，他被關了兩個禮拜禁閉。出來後有人問他，值嗎。他說，很值得，這兩個禮拜我過得很輕鬆愉快，因為一直有莫扎特先生陪着我。安迪指了指自己的頭，又指了指心，然後說：「人內心有一樣東西，他們碰不到，奪不走，那是完全屬於你的。」
安迪說的，做的，包括整部電影所要揭示的——自由從來不是等來的，是要去爭的，還要付代價，還得有腦子，有勇氣，肯動手。他挖了十九年的隧道，每天一點點把土從褲管裏抖出去，這事沒人能替他幹。你也可以把這理解成一種笨辦法：在規訓最密的地方，留一塊它量不到、優化不到的空隙。
可難就難在，人工智能時代的這座肖申克，比電影裏那座大得多，也更難去破。以前的牆是水泥的，你摸得到，恨得起來。現在的牆是舒服的，給你推薦好吃的，好玩的，好用的，讓你待著挺自在，甚至覺得挺幸福。你都意識不到自己在牆裏，還破什麼。布魯克斯好歹還知道自己怕，現在很多人是連怕都忘了。末日論吵得兇，真正悄悄發生的，也許是這種不痛不癢的規訓。
如果說「規訓」（institutionalized）是電影的明線，貫穿了整部電影的主題——如何打破「規訓」（institutionalized）來實現自我的救贖，那麼那條「隧道」就連結的是一條隱線。
隧道在哪裏？
考克斯跑了，胡賓格還在裏面喊，騎手還在闖紅燈，我還在趕這篇手記。也許只能像安迪那樣，先在心裏留一塊他們拿不走的地方，再慢慢找那條隧道。
實際上，這條隱線的提示詞在電影中也出現過，我們下次再談。