啟蒙的終結

——人工智能意味著人類曆史的終結

作者：亨利·基辛格

譯者：吳萬(wan) 偉(wei)

來源：作者授權 伟德线上平台 發布

時間：孔子二五六九年歲次戊戌四月初六日壬子

           耶穌2018年5月20日

從(cong) 哲學上和思想上說，人類社會(hui) 在任何方麵都還沒有準備好迎接人工智能的到來。

三年前，在一場跨大西洋議題的會(hui) 議上，人工智能的話題出現在了議程中。該話題不是我的專(zhuan) 業(ye) 領域，我正準備離開這個(ge) 專(zhuan) 場，已經開始的演講內(nei) 容卻把我留在了座位上。

發言者描述了很快將挑戰國際象棋冠軍(jun) 的電腦程序的工作原理。我感到震驚的是，電腦竟然能夠下圍棋，圍棋比象棋複雜多了。在比賽中，每個(ge) 棋手要動用180個(ge) 或181個(ge) 棋子（取決(jue) 於(yu) 他或她執黑還是執白），分別在空棋盤上落子；做出更好的戰略決(jue) 策，通過更有效的控製領地而讓對手動彈不得的一方為(wei) 勝。

發言者堅持認為(wei) 這種能力不能夠依靠編程來實現。他說，他的機器通過練習(xi) 和訓練學會(hui) 了下圍棋。考慮到下圍棋的基本規則，電腦和它自己進行了數不清的比賽，從(cong) 自己的錯誤中學會(hui) 改進，並據此優(you) 化算法。在此過程中，它的技能已經比人類導師更高。事實上，在那次發言之後的幾個(ge) 月裏，一個(ge) 名為(wei) 阿爾法狗（AlphaGo）的人工智能編程打敗了世界最優(you) 秀的棋手，取得了決(jue) 定性的勝利。

就在我聽發言者稱讚這種技術進步時，作為(wei) 曆史學家和偶爾從(cong) 事國務活動的人的經驗令我感到憂慮。自我學習(xi) 的機器是依靠特有的過程獲得知識，並將那知識應用在人類理解可能沒有辦法闡述的某些目的上。人工智能對這種機器的曆史產(chan) 生的影響是什麽(me) ？這些機器會(hui) 學習(xi) 相互交流嗎？在新出現的選擇項中，人們(men) 如何做出選擇？人類曆史是否有可能像印加帝國在麵對他們(men) 無法理解和感到敬畏的西班牙文化時走上消亡之路？我們(men) 是否處於(yu) 人類曆史新階段的邊緣？

意識到自己缺乏該領域的專(zhuan) 業(ye) 知識和技能，我組織了若幹次這個(ge) 話題的非正式對話，得到了人文和技術領域熟人的建議和合作。這些討論讓我的擔憂變得更為(wei) 強烈。

在此之前，最激烈改變現代曆史進程的技術進步是15世紀印刷術的發明，它讓經驗性知識的探索成為(wei) 教會(hui) 教義(yi) 的補充，理性時代漸漸取代了宗教時代。個(ge) 人見解和科學知識取代信仰成為(wei) 人類意識的主要評價(jia) 標準。信息被儲(chu) 存在越來越大的圖書(shu) 館中，並得到係統性地處理。理性時代產(chan) 生思想和行動，而所有這些塑造了當今的世界秩序。

但是，如今在橫掃一切的新技術革命的背景下，這個(ge) 秩序處於(yu) 動蕩之中，其後果我們(men) 還無法充分認識到，最後的結果或許是數據和算法驅動下的機器世界，但這個(ge) 機器並不受倫(lun) 理道德的約束或哲學規範的管理。

我們(men) 生活的因特網時代預兆了一些問題和議題，人工智能不過令其變得更加嚴(yan) 峻和尖銳了。啟蒙運動尋求的是將傳(chuan) 統真理置於(yu) 解放了的、分析性的、人類理性審視之下。因特網的目的是通過不斷擴張的數據積累和操控來驗證知識。人類認知已經喪(sang) 失了個(ge) 性特征。個(ge) 人求助於(yu) 數據，數據變成了王者。

因特網用戶強調提取信息和操控信息更甚於(yu) 將其意義(yi) 進行語境化或概念化處理。他們(men) 很少詢問曆史或哲學，他們(men) 通常要求獲得與(yu) 即刻的現實需要相關(guan) 的信息。在此過程中，搜索引擎的算法獲得了預測個(ge) 別客戶的偏愛的能力，從(cong) 而能夠讓算法計算出個(ge) 人化的結果，並將這些結果提供給其他人用於(yu) 政治和商業(ye) 目的。真理變成相對性的東(dong) 西。信息吞沒智慧的風險越來越大。

麵對社交媒體(ti) 潮水般湧來的各種觀點的衝(chong) 擊，用戶已經沒有時間去反省；事實上，很多技術愛好者使用因特網來來回避令他們(men) 感動恐懼的孤獨。所有這些壓力都削弱了剛毅性格，而這是形成和維持堅定信念所必需的品質。堅定的信念隻能依靠孤獨的跋涉才能獲得，而這種跋涉才是創造的本質所在。

因特網技術對政治的影響已經有人特別地表達出來。針對目標微群體(ti) 的能力已經將從(cong) 前的優(you) 先選擇共識進行精細化的分解，將焦點集中在專(zhuan) 門化的目的和訴求上。麵對縫隙壓力（niche pressure）的政治領袖已經被剝奪了思考和反思背景的時間，縮小了他們(men) 形成視野和眼光所需要的現有空間。

數字世界強調速度阻礙了人們(men) 去反思；它的獎勵機製賦予激進分子而不是認真思考者巨大的能量；它的價(jia) 值觀是附屬群體(ti) 的共識形成的，並非依靠自我反省。雖然有種種成就，數字世界麵臨(lin) 背叛自己的風險，因為(wei) 它給人類帶來的限製可能比帶來的方便多得多。

隨著因特網和運算能力的不斷增強，大數據的積累和分析變得更加方便，出現了人類理解上前所未有的廣闊前景。或許最具重要意義(yi) 的是製造人工智能的工程---這種技術通過複製人類思維的處理過程而製造和解決(jue) 複雜的、看似抽象的問題。

這已經遠遠超過我們(men) 知道的自動化。自動化處理的是手段；它通過把所掌握的工具理性化或者機械化而實現事先設定的目標。與(yu) 此相反，人工智能處理的是目的；它要確立自己的目標。在成就部分由自身塑造這點上，人工智能從(cong) 本質上說是不穩定的。人工智能體(ti) 係通過自身的運作，處於(yu) 不斷流動的過程中，因為(wei) 它不斷獲得新數據和分析新數據，並在此分析基礎上尋求改善和更新。依靠這個(ge) 過程，人工智能獲得了一種從(cong) 前被認為(wei) 隻有人類才具備的能力。它能做出有關(guan) 未來的戰略判斷，有些基於(yu) 被視為(wei) 語碼（如遊戲規則）的數據，有些則基於(yu) 自身收集的數據（如百萬(wan) 次的比賽循環）。

無人駕駛汽車說明傳(chuan) 統的、人類控製的、軟件驅動的電腦行動與(yu) 人工智能尋求探索的宇宙之間的差別。駕駛汽車要求在眾(zhong) 多根本無法預測的場景下做出判斷，因此根本沒有辦法預先編程。如果用眾(zhong) 所周知的假設案例，這輛汽車必須在殺死爺爺還是殺死孫子之間做出選擇，將會(hui) 發生什麽(me) ？它會(hui) 選擇殺死誰？為(wei) 什麽(me) ？它在試圖最優(you) 化的選擇中要考慮哪些因素？它能解釋自己的合理性論證嗎？一旦受到挑戰，如果能夠交流的話，它的真實答案可能是：“我不知道（因為(wei) 我遵循的是數學原則而不是人類原則）”或者“你不懂的（因為(wei) 我一直受到特定方式的訓練，我不需要解釋）。”但是，無人駕駛汽車很可能在十年之內(nei) 就上路了。

我們(men) 必須預料到人工智能犯下的錯誤會(hui) 比人類更快和更加嚴(yan) 重。

在此之前，人工智能局限在特定活動領域之內(nei) ，這種研究現在卻尋求創造“更籠統的智慧”，能在多個(ge) 領域執行任務的智慧。在可衡量的時間階段內(nei) ，人類越來越多的活動都可以由人工智能算法來驅動了。但是，這些算法是對觀察到的數據的數學解釋，並不能解釋產(chan) 生數據的現實。矛盾的是，隨著世界變得越來越透明，它也變得越來越神秘。將新世界與(yu) 我們(men) 現在的世界區分開來的東(dong) 西是什麽(me) ？我們(men) 如何生活在這個(ge) 世界？我們(men) 如何管理人工智能，如何改善它，或者至少防止它造成傷(shang) 害？最令人恐懼的擔憂是：人工智能在掌握了某些比人類更快和更強的能力之後，隨著時間的推移，它會(hui) 削弱人類的能力和人類生活條件本身，因為(wei) 它將這些也變成了數據。

未來，人工智能將為(wei) 醫藥科學、清潔能源和環境議題等其他領域帶來了不起的好處。但是，恰恰因為(wei) 人工智能在逐步演變的不確定的未來做出判斷，其結果天然具有不確定性和模糊性。下麵三個(ge) 領域值得我們(men) 特別關(guan) 注。　

首先，人工智能或許產(chan) 生意料之外的結果。科幻小說已經想象出人工智能反噬其創造者的場景。更有可能的危險是人工智能由於(yu) 天生缺乏背景信息而錯誤地解釋人類的指令。最近的一個(ge) 著名案例是被稱為(wei) 泰伊（Tay）的人工智能聊天機器人，它本來是用19歲女孩的語言模式產(chan) 生友好對話的。結果，這個(ge) 機器人不能確定導師安裝上的“友好的”和“通情達理的”語言指令，反而做出了種族主義(yi) 者的、性別歧視者的和其他煽情政治宣言和罵人髒話等回應。技術界的有些人宣稱這個(ge) 實驗構想很糟糕，實施得也很拙劣，但它說明了背後的模糊性：在多大程度上能讓人工智能理解指令的背景？什麽(me) 媒介能幫助泰伊自己定義(yi) “令人討厭的”（offensive）？這個(ge) 詞的意義(yi) ，人類並沒有普遍共識。我們(men) 能在更早階段辨別和糾正在期待框架之外行動的人工智能程序嗎？或者，如果放任人工智能自己處理，是否將不可避免地形成些微的偏離，經過一段時間之後終於(yu) 演化成為(wei) 災難性的意外後果？

其次，人工智能實現了預期的目標，但它可能改變人類的思想過程和價(jia) 值觀。阿爾法狗依靠空前的戰略步驟打敗了世界圍棋冠軍(jun) ，這些步驟是人類從(cong) 來沒有考慮過的，也從(cong) 來沒有成功地掌握。這些步驟超越了人類大腦的能力嗎？抑或人類現在能學習(xi) 新圍棋大師展示的步驟？

在人工智能開始下棋之前，圍棋遊戲有多樣的多層次的目的：選手追求的不僅(jin) 是贏得勝利，而且是學習(xi) 新的戰略，它們(men) 可能應用於(yu) 人生的其他方麵。在這點上，人工智能隻有一個(ge) 目的：贏得勝利。它不僅(jin) 從(cong) 概念上而且從(cong) 數學上“學習(xi) ”，依靠算法的邊緣性調整。所以在依靠不同於(yu) 人類的下棋方式學習(xi) 而贏得比賽。人工智能改變了遊戲的本質和影響。這種追求勝利的單一思維模式是所有人工智能的特征嗎？

其他人工智能項目旨在通過開發能夠產(chan) 生回答人類問題的眾(zhong) 多答案的設備來修改人類的思想。除了實際問題之外（室外溫度是多少？），還有關(guan) 於(yu) 現實本質的問題或人生的意義(yi) 等深層次問題。我們(men) 希望孩子通過與(yu) 無任何羈絆的算法炮製的話語交流而學到價(jia) 值觀嗎？我們(men) 應該限製人工智能學習(xi) 提問者而保護隱私嗎？果真如此，我們(men) 該如何實現這些目標？

如果人工智能學習(xi) 的速度比人類快得多，我們(men) 肯定期待它大幅度加快人類決(jue) 策常常產(chan) 生的試錯過程：犯下的錯誤比人類的更快更嚴(yan) 重。正如人工智能研究者常常暗示的那樣，人們(men) 不可能通過加入一個(ge) 要求“倫(lun) 理學的”或“通情達理的”結果的項目警告來糾正這些錯誤。整個(ge) 學界已經對如何定義(yi) 這些術語爭(zheng) 吵不休了，人工智能將因此成為(wei) 仲裁者嗎？

第三，人工智能或許實現了預期目標，但是不能解釋得出這些結論的合理性論證。在某些領域---模式識別、大數據分析、遊戲---人工智能的能力已經超越了人類。如果其計算能力繼續快速提高，人工智能將很快能夠以至少稍微不同的方式最優(you) 化場景，但很有可能的是與(yu) 人類最優(you) 化的方式差別很大。但是，在此，人工智能能以人類能理解的方式解釋其行動為(wei) 何最優(you) 嗎？還是人工智能的決(jue) 策製定過程超越了人類語言和理性的解釋力範圍？在整個(ge) 人類曆史上，文明曾經創造出解釋周圍世界的方式，在中世紀使用宗教，在啟蒙時代使用理性；在１９世紀使用曆史；在２０世紀使用意識形態。有關(guan) 我們(men) 未來世界的最困難和最重要的問題是：如果人類的解釋力被人工智能超越，人類意識將變成什麽(me) 樣子？社會(hui) 已經不再能夠用在人類看來有意義(yi) 的方式解釋人們(men) 生活的世界？　

在將人類經驗簡化為(wei) 數學數據，並依靠自身的記憶來解釋的機器世界，意識如何被定義(yi) ？誰應該對人工智能的行動負責？它們(men) 的錯誤產(chan) 生的債(zhai) 務如何確定？人類設計的法律體(ti) 係能夠趕上在思維能力上超越人類的人工智能活動的步伐嗎？

從(cong) 終極上說，人工智能這個(ge) 詞或許是個(ge) 錯誤。當然，這些機器能夠解決(jue) 從(cong) 前隻有人類認知才能處理的複雜的、看似抽象的問題。但是，它們(men) 行為(wei) 的獨特性並不是人們(men) 設想和體(ti) 驗過的思考。相反，它是空前的記憶和運算。因為(wei) 在這些領域的天生優(you) 越性，人工智能可能贏得分配給它的任何比賽。但是，對於(yu) 我們(men) 作為(wei) 人的目的而言，比賽並不隻是贏得勝利，它們(men) 是思考的問題。把數學過程當作思想過程來對待，無論是試圖模仿我們(men) 自己的過程還是僅(jin) 僅(jin) 接受其結果，我們(men) 都將陷入喪(sang) 失人類認知本質的能力的危險中。

這場革命的隱含意義(yi) 被最近設計的項目阿爾法零（AlphaZero）顯示出來。它下棋的水平超過圍棋大師，使用的方式是圍棋史上從(cong) 來沒有見過的。在自己和自己下棋的幾個(ge) 小時裏，它就達到了一種技能水平，那是人類需要１５００年才能掌握的水平。隻是為(wei) 阿爾法零提供了遊戲的基本規則。它的自我學習(xi) 過程中既沒有人的幫助也沒有人產(chan) 生的數據。如果阿爾法零能夠如此快速地達到這種熟練程度，五年後人工智能將如何？它在總體(ti) 上對人類認知的影響會(hui) 是什麽(me) ？在此過程中，作為(wei) 選擇加速的本質的倫(lun) 理學應該扮演何種角色呢？

典型的是，這些問題留給了技術人員和相關(guan) 科學領域的知識分子。哲學家和人文學科的其他人曾經創造了從(cong) 前的概念，幫助塑造了世界秩序。但他們(men) 可能出於(yu) 劣勢地位，因為(wei) 缺乏人工智能機製的知識或者被它的能力嚇傻了。相反，科學世界受到強烈的刺激來探索取得進步的可能性，技術世界充斥著商業(ye) 眼光和視野。這些世界的刺激和獎勵推動發現的邊界進一步擴張，而不是試圖理解這些邊界。到現在為(wei) 止，管理人工智能的機構更有可能調查人工智能在安全和情報方麵的應用而不是探索它已經開始產(chan) 生的人類條件的轉變。

啟蒙開始於(yu) 新技術傳(chuan) 播的哲學見解。我們(men) 的時代正走向相反的方向。它產(chan) 生了潛在的支配性技術，卻在尋求作為(wei) 思想指南的哲學。其他國家已經讓人工智能成為(wei) 國家重點工程。美國作為(wei) 國家還沒有係統性地探索其整個(ge) 範圍，研究隱含意義(yi) 或開始終極學習(xi) 的過程。首先從(cong) 把人工智能與(yu) 人類傳(chuan) 統聯係起來的角度看，這應該成為(wei) 國家的優(you) 先選擇。

就像我在技術領域沒有經驗一樣，人工智能開發者在政治和哲學領域沒有經驗，他們(men) 應該問自己本文中提出的一些問題，以便將答案納入其工程探索中。美國政府應該考慮組織一場傑出思想家的總統委員會(hui) 會(hui) 議幫助形成國家共識。下麵這個(ge) 情況必然出現：如果我們(men) 不盡快開始這個(ge) 努力，不久之後我們(men) 就會(hui) 發現已經來不及了。

譯自：How the Enlightenment Ends by Henry A. Kissinger 

https://www.theatlantic.com/magazine/archive/2018/06/henry-kissinger-ai-could-mean-the-end-of-human-history/559124/ 

責任編輯：姚遠