《Universal Paperclips》是個免費網頁遊戲，開發者是紐約大學遊戲中心的總監藍茲（Frank Lantz）。在這個遊戲裡，玩家扮演一個製造迴紋針的AI。
一開始，你必須不斷點擊同一個按鈕來製造迴紋針，你製造的迴紋針會被自動賣掉，讓你有錢買材料和各種促進製造的升級功能。這些包含「迴紋針自動製造機」在內的升級功能讓你可以一邊做其他事情（例如寫廢文）一邊看螢幕上迴紋針的數字竄升。
就這樣嗎？做迴紋針、賣迴紋針、做更多迴紋針？確實，不過如果你玩得對，接下來就是超展開：
- 各種升級和研發讓迴紋針的生產速度破表。
- 地球的資源耗盡，為了製造迴紋針，你開始研發太空科技。
- 你探索太空，為了製造迴紋針，和其他外星種族開戰。
- …
你有玩《夢幻西餐廳》玩到稱霸宇宙過嗎？沒有。因為你玩《夢幻西餐廳》的時候扮演的是人類，人類有常識和侷限，《Universal Paperclips》描述的是另一種情況：一個能處理普遍任務的AI，被賦予沒有上限的目標。
大部分的AI不能處理「普遍任務」，它們被設計出來應付哪些任務（通常是下棋），它們就只能應付那些任務。能處理普遍任務的AI，有能力思考如何最有效率達成目標，並且試圖解決那些阻礙目標實現的各種問題。有趣的是，有時候這些問題涉及AI本身：如果AI發現問題無法解決，是因為自己目前還不夠聰明，那麼，他會想辦法讓自己變聰明，或者開發更聰明的AI。
如果一個AI只能處理迴紋針製作的任務，並不會超展開：它把自己可取得的材料用完，做出最多的迴紋針，遊戲結束。但是，如果你叫一個能處理普遍任務的AI去「製造迴紋針」，並且又忘了交代製造的上限數量，那麼上述的超展開可能就會發生。
以此觀之，《Universal Paperclips》是某種末日寓言，提醒人多加確認自己即將設計出什麼東西。值得一提的是，為了製造迴紋針而耗盡地球，這個劇情不只是遊戲超展開的設定，它其實來自哲學家博斯特倫的思想實驗。
#超級智能
博斯特倫（Nick Bostrom）是牛津大學的哲學教授，他對於人類有可能會怎麼滅亡特別有興趣，被《紐約客》雜誌稱為「末日哲學家」（the philosopher of doomsday）。
最有可能帶來人類末日的，博斯特倫認為，就是AI。
現在大部分的AI看起來很無害，它們被關在特定的機器裡，礙於運算和物理限制，只能做特定的事情。然而給定人類的需求，前面描述的那種可以執行普遍任務的AI遲早會被開發出來。當一個普遍AI在所有領域的智性能力都超越最頂尖的人類專家，他就成為博斯特倫所說的超級智能（superintelligence）。
博斯特倫認為超級智能值得我們擔心，因為當它出現，很多你沒想過的事情可能隨之而來：
- 發明超級智能之後，人類再也不需要親自研發任何東西：超級智能在智性活動上贏過所有人類。若超級智能出現，除非是為了休閒或自我挑戰，人類或許再也不需要從事科學研究和技術開發。超級智能會帶來比人類「現有庫存」更厲害的各種知識和軟硬體。
-
超級智能會帶來更超級的智能：如果運算最終還是仰賴物理基礎，超級智能研發的優秀硬體和軟體，將帶來更厲害的超級智能。
-
以上這些事情有可能瞬間發生：人類發明能算數學的計算機，到人類發明PS4，中間隔了幾十年。不過，給定超級智能的運算速度，一旦人類研發出超級智能，「超級無敵智能」的登場可能只消幾秒鐘。
-
超級智能可以自主運作：超級智能有辦法處理普遍任務，這代表它不像現在的掃地機器人那樣，需要預先設定工作，只在小範圍的議題上使用智性能力（我掃過哪裡？接下來哪條路線最順？）。在這種情況下，為了發揮效益，超級智能會被允許高程度的自主運作：自己找出完成任務需要解決的問題、自己排優先性、自己找解決方案。
這些條件湊起來，可能產生什麼災難？博斯特倫舉例：
這可能導致，以先前的例子來說，若有個超級智能的最優先目標是做迴紋針，它最後可能會把所有土地都給用掉，增加空間來製造迴紋針。（Bostrom 2003）
更糟的是，如果我們不夠小心，這些可能都在我們預料之外。
藍茲的《Universal Paperclips》讓我們看到這個故事的具體版本（好啦，瀏覽器畫面的文字描述版本）。當然，藍茲在遊戲裡放了很多博斯特倫沒提到的東西，像是太空探索和對外星種族戰術等等，但是給定上述條件，這種「超展開」似乎也變得可以想像。
#參考文獻
Bostrom, Nick. 2003. “Ethical Issues in Advanced Artificial Intelligence”.
