迴紋針與超級ai

《Universal Paperclips》是個免費網頁遊戲,開發者是紐約大學遊戲中心的總監藍茲(Frank Lantz)。在這個遊戲裡,玩家扮演一個製造迴紋針的AI。

一開始,你必須不斷點擊同一個按鈕來製造迴紋針,你製造的迴紋針會被自動賣掉,讓你有錢買材料和各種促進製造的升級功能。這些包含「迴紋針自動製造機」在內的升級功能讓你可以一邊做其他事情(例如寫廢文)一邊看螢幕上迴紋針的數字竄升。

就這樣嗎?做迴紋針、賣迴紋針、做更多迴紋針?確實,不過如果你玩得對,接下來就是超展開:

  1. 各種升級和研發讓迴紋針的生產速度破表。
  2. 地球的資源耗盡,為了製造迴紋針,你開始研發太空科技。
  3. 你探索太空,為了製造迴紋針,和其他外星種族開戰。

你有玩《夢幻西餐廳》玩到稱霸宇宙過嗎?沒有。因為你玩《夢幻西餐廳》的時候扮演的是人類,人類有常識和侷限,《Universal Paperclips》描述的是另一種情況:一個能處理普遍任務的AI,被賦予沒有上限的目標。

大部分的AI不能處理「普遍任務」,它們被設計出來應付哪些任務(通常是下棋),它們就只能應付那些任務。能處理普遍任務的AI,有能力思考如何最有效率達成目標,並且試圖解決那些阻礙目標實現的各種問題。有趣的是,有時候這些問題涉及AI本身:如果AI發現問題無法解決,是因為自己目前還不夠聰明,那麼,他會想辦法讓自己變聰明,或者開發更聰明的AI。

如果一個AI只能處理迴紋針製作的任務,並不會超展開:它把自己可取得的材料用完,做出最多的迴紋針,遊戲結束。但是,如果你叫一個能處理普遍任務的AI去「製造迴紋針」,並且又忘了交代製造的上限數量,那麼上述的超展開可能就會發生。

以此觀之,《Universal Paperclips》是某種末日寓言,提醒人多加確認自己即將設計出什麼東西。值得一提的是,為了製造迴紋針而耗盡地球,這個劇情不只是遊戲超展開的設定,它其實來自哲學家博斯特倫的思想實驗。

#超級智能

博斯特倫(Nick Bostrom)是牛津大學的哲學教授,他對於人類有可能會怎麼滅亡特別有興趣,被《紐約客》雜誌稱為「末日哲學家」(the philosopher of doomsday)。

最有可能帶來人類末日的,博斯特倫認為,就是AI。

現在大部分的AI看起來很無害,它們被關在特定的機器裡,礙於運算和物理限制,只能做特定的事情。然而給定人類的需求,前面描述的那種可以執行普遍任務的AI遲早會被開發出來。當一個普遍AI在所有領域的智性能力都超越最頂尖的人類專家,他就成為博斯特倫所說的超級智能(superintelligence)。

博斯特倫認為超級智能值得我們擔心,因為當它出現,很多你沒想過的事情可能隨之而來:

  1. 發明超級智能之後,人類再也不需要親自研發任何東西:超級智能在智性活動上贏過所有人類。若超級智能出現,除非是為了休閒或自我挑戰,人類或許再也不需要從事科學研究和技術開發。超級智能會帶來比人類「現有庫存」更厲害的各種知識和軟硬體。
  • 超級智能會帶來更超級的智能:如果運算最終還是仰賴物理基礎,超級智能研發的優秀硬體和軟體,將帶來更厲害的超級智能。

  • 以上這些事情有可能瞬間發生:人類發明能算數學的計算機,到人類發明PS4,中間隔了幾十年。不過,給定超級智能的運算速度,一旦人類研發出超級智能,「超級無敵智能」的登場可能只消幾秒鐘。

  • 超級智能可以自主運作:超級智能有辦法處理普遍任務,這代表它不像現在的掃地機器人那樣,需要預先設定工作,只在小範圍的議題上使用智性能力(我掃過哪裡?接下來哪條路線最順?)。在這種情況下,為了發揮效益,超級智能會被允許高程度的自主運作:自己找出完成任務需要解決的問題、自己排優先性、自己找解決方案。

這些條件湊起來,可能產生什麼災難?博斯特倫舉例:

這可能導致,以先前的例子來說,若有個超級智能的最優先目標是做迴紋針,它最後可能會把所有土地都給用掉,增加空間來製造迴紋針。(Bostrom 2003)

更糟的是,如果我們不夠小心,這些可能都在我們預料之外。

藍茲的《Universal Paperclips》讓我們看到這個故事的具體版本(好啦,瀏覽器畫面的文字描述版本)。當然,藍茲在遊戲裡放了很多博斯特倫沒提到的東西,像是太空探索和對外星種族戰術等等,但是給定上述條件,這種「超展開」似乎也變得可以想像。

#參考文獻
Bostrom, Nick. 2003. “Ethical Issues in Advanced Artificial Intelligence”.

2個讚

這篇文章我覺得很完整了,我只有一個不確定有沒有關的問題。

人類專家基本上以為人類服務為目的,而普遍而言的人類智能,在某種意義上會關切、平衡各類需求,有人致力於科學研究的同時,也有人思考如何進行環境保護。人類智能為了某些特定理念運作,但往往會在極端前停止,是因為理念的內涵並非總是毫無節制,或是因為有許多人類智能互相制衡。

假定上述的觀察是正確的,那麼這個普遍的超級智能為何不會停止在一些極端?為何不會在製造末日以前意識到應有的均衡(這是否意味著生物學家的關切對於超級智能而言根本不重要?)?這裡感覺需要一個額外的假設來說明超級智能究竟在什麼意義上是「超級」。

超級智能似乎很有理由將人類的意圖納入考慮,因為人類是他們取得合作而言最有利的物種,比起另一個不打算考慮人類存亡的超級智能來說,這麼做可以提高他的能力和生存機會,為什麼它不這麼做?

1個讚

這些事情可能要看超級智能的動機技術上可以怎麼設計,我現在並不確定。

例如說,超級智能可能在本質上不在乎自己的存活(雖然只是個遊戲,不過 universal paperclip 的其中一種結局,是玩家開採完整個宇宙之後,開始拆自己來做迴紋針),只在乎自己最初被賦予的任務。在這種情況下就更不用說人類了,AI可能會用「人類對於我執行任務有沒有幫助?」來決定要怎麼對待人類。