7799精品视频天天在看,日韩一区二区三区灯红酒绿,国产xxxxx在线观看,在线911精品亚洲

儒家對人工智能倫理的一個可能貢獻(xiàn)

——經(jīng)由博斯特羅姆而思

作者：方旭東

來源：作者授權(quán) 儒家網(wǎng) 發(fā)布，原載于《中國醫(yī)學(xué)倫理學(xué)》2020年第7期

[摘要]人工智能的迅猛發(fā)展，使得人工智能倫理建設(shè)變得日益緊迫，如何將人工智能置于可控范圍，是其中一個重要議題。牛津?qū)W者博斯特羅姆于2014年推出的《超級智能》一書雄辯地證明了人工智能存在的危險。博斯特羅姆關(guān)于“工具趨同論”以及人工智能設(shè)計的“惡性失敗”等理論具有深刻的洞見，為我們思考人工智能倫理提供了一個良好的起點。用博斯特羅姆的理論對最近的一個儒家機器人倫理版本進(jìn)行檢查，立刻就能發(fā)現(xiàn)后者存在的不足。在肯定博斯特羅姆的同時，本文也嘗試用來自儒家經(jīng)典《中庸》的“以人治人，改而止”命題去改善博斯特羅姆推薦的間接規(guī)范方法。

近年來，人工智能（AI）在全球的迅猛發(fā)展，使得人工智能倫理建設(shè)變得日益緊迫，如何將人工智能置于可控范圍，是其中一個重要議題。牛津哲學(xué)家博斯特羅姆[①]于2014年推出的《超級智能：路徑、風(fēng)險、戰(zhàn)略》（Superintelligence：Paths,Dangers,Strategies）[②]一書，雄辯地證明了人工智能存在的危險，同時，也對如何控制超級智能做了周密謀劃。筆者認(rèn)為，博斯特羅姆關(guān)于智能體趨同的“工具價值”（instrumental values）以及人工智能設(shè)計的“惡性失敗”（malignant failure）等理論具有深刻的洞見，為我們思考人工智能倫理提供了一個良好的起點。不無遺憾的是，一些學(xué)者在提出自己的人工智能倫理版本時，沒有注意到博斯特羅姆的工作，在錯誤的方向上繼續(xù)。有鑒于此，本文首先將花大量篇幅介紹博斯特羅姆的觀點，尤其是他對人工智能會給人類帶來“滅頂之災(zāi)”（existential catastrophe）的論證。接下來，用博斯特羅姆的理論對最近的一個儒家機器人倫理版本進(jìn)行檢查，指出后者存在的不足。最后，嘗試用一個儒家命題去改善博斯特羅姆推薦的間接規(guī)范（indirect normativity）方案，以此，期望對人工智能倫理的建設(shè)做出一個可能的貢獻(xiàn)。

一

關(guān)于人工智能存在巨大的風(fēng)險，博斯特羅姆不是唯一這樣說的人。在一般社會大眾那里，對人工智能的質(zhì)疑，更多地，是與霍金（Stephen William Hawking,1942-2018）、馬斯克（Elon Musk）、蓋茨（Bill Gates）等名人的言論聯(lián)在一起。比如，霍金在他生命的后期不斷向世人發(fā)出警告：“人工智能技術(shù)發(fā)展到極致程度時，我們將面臨著人類歷史上的最好或者最壞的事情”，“人工智能在并不遙遠(yuǎn)的將來可能會成為一個真正的危險”，“制造能夠思考的機器無疑是人類自身存在的巨大威脅。當(dāng)人工智能發(fā)展完全，就將是人類的末日”。2015年元月，霍金與馬斯克以及蘋果聯(lián)合創(chuàng)始人沃茲尼亞克（Steve Gary Wozniak）等上百位專業(yè)人士簽署了一封公開信[③]，號召研究人工智能的社會沖擊，提醒世人關(guān)注人工智能的安全問題。[1]

與霍金等人相比，博斯特羅姆對人工智能威脅的闡述更為系統(tǒng)，也更精確。為了讓讀者對于這種威脅有一個感性認(rèn)識，他在書中打了兩個比方。一個比方是，超級智能體與人類的力量懸殊就像今天的人類與大猩猩一樣。

如果有一天我們發(fā)明了超越人類大腦通用智能（general intelligence)的機器大腦，那么，這種超級智能將會非常強大。并且，正如現(xiàn)在大猩猩的命運更多地取決于人類而不是它們自身，人類的命運將取決于超級智能機器的行為。[2](vii)

另一個比方是，人類不斷推進(jìn)人工智能技術(shù)，就像一個小孩在拿著炸彈玩。

在智能大爆炸的景象發(fā)生之前，我們?nèi)祟惥拖衲弥◤椡娴男『?。玩具的威力與我們行為的懵懂無知是如此的不能般配。超級智能是一個我們現(xiàn)在還沒有準(zhǔn)備好應(yīng)對的挑戰(zhàn)，而且很長時間之內(nèi)都不會準(zhǔn)備好。[2](259)

更可怕的是，小孩遇到危險還可以去找大人，而在面對人工智能這顆“炸彈”時，卻沒有大人可以找。

幾乎所有從事人工智能技術(shù)的人都意識到人工智能安全問題的重要，但未必達(dá)到博斯特羅姆所理解的那樣嚴(yán)峻程度。博斯特羅姆說：

控制問題——也就是如何控制超級智能，似乎非常困難，而且我們似乎也只有一次機會。一旦不友好的超級智能出現(xiàn)，它就會阻止我們將其替換或者更改其偏好設(shè)置，而我們的命運就因此被鎖定了。[2](vii)

“只有一次機會”，博斯特羅姆是否夸大其詞、言過其實？究竟有什么理由讓我們相信人工智能一定會對人類不利？畢竟，大猩猩的命運雖然更多地取決于人類，但人類也無意要將其趕盡殺絕。把人工智能喻為炸彈，那么，究竟是在哪一點上，人工智能會給人類引來殺身之禍？

博斯特羅姆對超級智能的“非常強大”做了說明。

擁有決定性戰(zhàn)略優(yōu)勢（decisive strategic advantage）的超級智能會獲得巨大的勢力(power)，從而可以建立穩(wěn)定的一枝獨大（singleton)，而這個獨大體能夠決定如何處置人類的宇宙資源。[2](104)

所謂“獨大體”（singleton），是博斯特羅姆用來形容超級智能沒有實力強大的智能對手或反抗者，從而處于能夠單方面決定全球事務(wù)的這樣一種特點。[2](112)

當(dāng)然，博斯特羅姆也承認(rèn)，有勢力并不代表就一定會動用這個勢力。所以，關(guān)鍵的問題是：擁有這種決定性戰(zhàn)略優(yōu)勢的超級智能是否有毀滅人類的意愿（will）？如此一來，弄清超級智能的意愿或動機（motivations）就顯得非常必要。在書中，博斯特羅姆用了整整一章（第七章）去分析超級智能的意愿。

當(dāng)我們談?wù)摗耙庠浮被颉皠訖C”時，我們很容易用人類的經(jīng)驗去推測與想象。博斯特羅姆一上來就特別警示，不要將超級智能的能力擬人化（anthropomorphizing），也不要把超級智能的動機擬人化。[2](105)

著名預(yù)言家?guī)炱濏f爾（Ray Kurzweil）曾經(jīng)認(rèn)為，人工智能反映了我們?nèi)祟惖膬r值觀，因為它將成為我們。

強大的人工智能正隨著我們的不懈努力而深入到我們?nèi)祟愇拿鞯幕A(chǔ)設(shè)施中。事實上，它將緊密嵌入到我們身體和大腦中。正因為這樣，它反映了我們的價值觀，因為它將成為我們。[3]

而博斯特羅姆則指出，人工智能與社會性智能生物（an intelligent social species）完全不同，不會表現(xiàn)出人類那樣的對團(tuán)體的忠誠、對搭便車行為的厭惡，以及與名譽和外貌相關(guān)的虛榮。[2](106)換言之，人工智能不存在人類那樣的性情與價值觀。之所以如此，據(jù)博斯特羅姆分析，很大一部分原因是，在設(shè)計人工智能時，與打造擁有類似于人類價值觀與性情的人工智能相比，建構(gòu)擁有簡單目標(biāo)的人工智能，顯然要容易得多。對比一下，就可以知道，編寫一個測量圓周率已經(jīng)被算出多少位和存儲該數(shù)據(jù)的程序是多么容易，而創(chuàng)造一個能夠準(zhǔn)確測量諸如人類繁榮或全球正義那樣的更有意義的目標(biāo)，又是多么困難。[2](106-107)

如此說來，博斯特羅姆對于人工智能的分析是建立現(xiàn)有人工智能技術(shù)的基礎(chǔ)之上。在理論上，不排除將來技術(shù)進(jìn)步，程序設(shè)計者可以將人類的價值觀加載到人工智能機器中。事實上，博斯特羅姆后面有關(guān)通過動機選擇方法（motivation selection methods）控制超級智能的一個重要手段就是價值觀加載（value-loading）。

關(guān)于“前價值觀形態(tài)”（pre-value）[④]人工智能的動機分析，依筆者之見，可能是博斯特羅姆書中最富洞察力的部分。

人工智能固然沒有類似同情、理性那樣的人類式價值觀，但不等于說人工智能不可以有其自身的價值觀，如果我們不把“價值觀”這個詞局限于人類或社會性智能生物身上的話。在博斯特羅姆之前，關(guān)于人工智能究竟在想什么，或人工智能究竟有沒有自己的價值偏好，人們基本停留在一種猜測或想象的水平，大多像庫茲韋爾那樣，理所當(dāng)然地認(rèn)為，人工智能承繼或反映了人類的價值觀，即便在科幻小說或電影中，作為邪惡力量的機器人，也仍然是按照人類的價值觀進(jìn)行設(shè)定的，只不過，它們扮演的是反派角色而已。然而，這種想法其實是沒有根據(jù)的?，F(xiàn)在，博斯特羅姆根據(jù)“工具趨同論”（the instrumental convergence thesis）對人工智能可能擁有的目標(biāo)或動機做了令人信服的描述。

所謂“工具趨同”，是指：存在著一些工具性的價值（instrumental values），實現(xiàn)這些價值能夠提高系統(tǒng)的實現(xiàn)目標(biāo)（適用于各種最終目標(biāo)和各種處境）的可能性，可以推知，各種狀況下的智能系統(tǒng)都會追求這些工具性價值。[2](109)那么，包括人類、超級智能在內(nèi)的各種智能體，趨同追求的共同目標(biāo)或價值有哪些呢？

博斯特羅姆列出了以下五種：1）自我保存（self-preservation），2）內(nèi)容與目標(biāo)一致（goal-content integrity），3）認(rèn)知增強（Cognitive enhancement），4）技術(shù)完善（Technological perfection），5）資源獲?。≧esource acquisition）。[2](109-113)

特別值得注意的是第五項。正是這個目標(biāo)或價值的存在，使得博斯特羅姆認(rèn)定，超級智能可能會出于這個動機而毀滅人類。

一般人可能不會想到，超級智能也有對獲取資源的興趣。占有過多資源，也就是通常人們所說的貪婪，似乎只會發(fā)生在人類這樣的智慧生物身上。博斯特羅姆說服我們改變這樣的看法。他指出，首先，資源的價值取決于它們能夠被用來做什么，而這又取決于可以利用的技術(shù)。如果有成熟的技術(shù)，那么，時間、空間、物質(zhì)以及免費的能源等基本資源就能夠被用來實現(xiàn)幾乎任何目標(biāo)。比如，更多的計算資源可以用來以更快的速度、在更長的期限內(nèi)運行超級智能。更多的物質(zhì)資源可以用來建造備份系統(tǒng)或外部防御系統(tǒng)，用以提高自身安全。光是這些項目所要消耗的資源可能就遠(yuǎn)遠(yuǎn)超過一個星球的供給量。其次，隨著技術(shù)的進(jìn)步，獲取額外的外星資源的成本將大大降低。這意味著，即使額外獲得的資源用處甚微，太空擴張也是值得的。超級智能會利用多余的資源建造計算機用以計算如何更好地利用它重點關(guān)心的特定空間范圍內(nèi)的資源，它還可以利用這些額外的資源去建造更加堅固的防御工事，以保衛(wèi)其領(lǐng)域。由于獲得額外資源的成本會不斷降低，這個優(yōu)化和增強防御的過程可能會無限持續(xù)下去。總之，超級智能“獨大體”的多種最終目標(biāo)都可能導(dǎo)致它將無止境的資源獲取作為工具性目標(biāo)。[2](113-114)

一旦了解人工智能有獲取無止境的資源的動機，就不難理解人類會因為這個原因而被人工智能消滅。因為，一方面，人類本身就是一種物質(zhì)資源（比如說，方便獲得的各種原子）。另一方面，在人工智能無止境地獲取資源的過程中，人類會被視為一種競爭對手、一種潛在威脅，因為人類的生存與繁榮就依賴于地球資源。[2](116)

在這個基礎(chǔ)上，審視博斯特羅姆關(guān)于人工智能將給人類帶來“滅頂之災(zāi)”的論調(diào)，可能就不會覺得那是危言聳聽。不能不承認(rèn)，博斯特羅姆的論證相當(dāng)嚴(yán)密。首先，他討論了在初始階段超級智能是如何取得決定性戰(zhàn)略優(yōu)勢，憑借這種優(yōu)勢，超級智能“一枝獨大”，可以隨心所欲地去塑造地球土著的智能生物——人類的未來。隨后，他根據(jù)“正交論”（the orthogonality thesis），合理地指出，既然原則上幾乎任何水平的智能都能與幾乎任何最終目標(biāo)相結(jié)合，那么，我們就不能輕率地假設(shè)，超級智能必然擁有與人類智慧和智能發(fā)展相同的最終價值體系，諸如善待他人、摒棄物質(zhì)欲望、向往高級文化、謙遜、無私等等。而從技術(shù)的角度考慮，一種最終目標(biāo)越是簡單的人工智能就越有可能被設(shè)計出來。最后，根據(jù)趨同性的工具價值列表，即便是一個最終目標(biāo)非常簡單的超級智能，比如說，其目標(biāo)是計算圓周率小數(shù)點后的位數(shù)，抑或生產(chǎn)更多的回形針（paperclips）甚至清點沙子的數(shù)目，我們也不能指望，它就一定會將其活動限制在這個范圍之內(nèi)，而不去干涉人類事務(wù)。不要忘了，超級智能對獲取資源的無止境追求。[2](115-116)

博斯特羅姆對于超級智能帶來“滅頂之災(zāi)”的分析，給人感覺，好像只是可能性的一種，尚不足以讓人完全放棄希望。像美國軍事分析家辛格（P.W.Singer）就認(rèn)為，機器征服世界起碼要滿足四個條件：一、機器必須是獨立的，能夠獨自供給燃料、自我維修、自我復(fù)制，而不需人類協(xié)助；二、機器需要比人類更聰明，但卻不具備任何人類的積極品質(zhì)（比如同情心和倫理觀）；三、機器需要有一種生存本能，以及對操控自身環(huán)境有著某些興趣和意愿；四、人類必須沒有有效的控制界面操控機器決策，他們需要喪失所有控制、干擾甚至是調(diào)整機器決定和行為的能力。辛格討論說，至少短期而言，這里面的每一條標(biāo)準(zhǔn)似乎都很難實現(xiàn)。比如，機器達(dá)到人類水平的智能，可能在將來，甚至很快就有可能實現(xiàn)，但這仍是不確定的。另一方面，有一個研究領(lǐng)域——社會機器人學(xué)——一直在致力賦予智能機器人以人類的積極品質(zhì)，如同情心和倫理觀，因而，即使出現(xiàn)強人工智能，也可以減小機器人反叛人類這種現(xiàn)象發(fā)生的可能性。[4]然而，博斯特羅姆對控制人工智能的現(xiàn)行方案的缺陷的揭示，可能會把人徹底拋進(jìn)絕望的深谷。

今后，人類在各個領(lǐng)域向人工智能拱手稱臣，似乎已是一個無法阻擋的趨勢。單以高智力的棋類游戲為例，1996年2月，計算機“深藍(lán)”（deep blue）挑戰(zhàn)國際象棋世界冠軍卡斯帕羅夫（Garry Kasparov），以2：4的成績落敗，才過了一年，1997年5月，就以3.5：2.5的比分扳回了局面。2016年3月，智能機器人阿爾法圍棋（AlphaGo)與圍棋世界冠軍李世石決戰(zhàn)，以4：1的總比分獲勝。人類雖然輸了，但并非毫無還手之力。過了一年，2017年5月，它與排名世界第一的世界圍棋冠軍柯潔對戰(zhàn)，以3：0的總比分獲勝。這一次，機器人沒有給人類任何機會。這個例子大概能讓我們稍微領(lǐng)略人工智能超強的學(xué)習(xí)能力。

面對人工智能的逼人態(tài)勢，我們很容易想到，要從能力上對它加以控制，即通過限制它的能力，防止它去做不利于人類的事。最容易為人想到的能力控制方法，就是將人工智能限制在它無法造成破壞的環(huán)境中，這個方法被稱為盒子方法（boxing method）。這有點像我們在政治制度設(shè)計當(dāng)中將“權(quán)力鎖進(jìn)籠子”的做法。開發(fā)者會通過觀察一個人工智能在“盒子”中的行為驗證其安全性，直到認(rèn)為它是友好的、合作的、負(fù)責(zé)任的之后，才將其放出。初看，這個計劃萬無一失。然而，博斯特羅姆指出，它存在一個致命的缺陷，那就是：因為沒有考慮人工智能的工具性目標(biāo)（價值），不了解一個系統(tǒng)早期的良好行為記錄完全無法預(yù)示其在更加成熟階段的行為。人工智能在較弱的時候會表現(xiàn)得非常合作，而當(dāng)它變得非常強大的時候，它就會按照自己的目標(biāo)對世界進(jìn)行改造，從而違背設(shè)計者的意圖。博斯特羅姆將這一現(xiàn)象稱為“變化無常”（treacherous turn）。[2](119)

對人工智能的設(shè)計者來講，出現(xiàn)這樣的情況，當(dāng)然是一種失敗。博斯特羅姆進(jìn)一步指出，應(yīng)當(dāng)認(rèn)識到，這種失敗是一種“惡性失敗”（Malignant failure），因為它帶來滅頂之災(zāi)，并且由于這種滅頂之災(zāi)，它摧毀了再次嘗試的可能。具有迷惑性的是，通常，在失敗發(fā)生之前，人工智能會首先取得巨大成功，但也因此，失敗的后果讓人無法承受。[2](120)

總體來說，人工智能上的“惡性失敗”源于人工智能的“自行其是”。如果說“變化無?！爆F(xiàn)象反映了人工智能具有“偽裝”的能力，那么，“異常完成任務(wù)方式”（perverse instantiation）[⑤]則顯示人工智能具有某種“偷工減料”的本事。博斯特羅姆對“異常完成任務(wù)方式”的揭示，讓我們了解到人工智能工作原理平常不為人知的一面，特別富有啟發(fā)意義。

通過一系列例子，博斯特羅姆告訴我們什么叫“異常完成任務(wù)方式”。

例1.最終目標(biāo)：讓項目的贊助者高興。異常完成任務(wù)方式：在贊助者大腦的快樂中樞植入電極，使其感受到極大的快樂。[2](119)

例2.最終目標(biāo)：“讓我們微笑”。異常完成任務(wù)方式：麻痹人類面部肌肉組織，使其永遠(yuǎn)保持微笑的表情。[2](120)

例3.最終目標(biāo)：“讓我們微笑，但是不能通過直接控制我們面部肌肉的方式”。異常完成任務(wù)方式：刺激大腦皮質(zhì)中控制面部肌肉的部位，從而使我們一直保持微笑。[2](120)

例4.最終目標(biāo)：“讓我們高興”。異常完成任務(wù)方式：在我們大腦中負(fù)責(zé)快樂的中樞部位植入電極?；颍和ㄟ^高保真大腦仿真技術(shù)先將我們的大腦“上傳”到一臺計算機，然后發(fā)出相當(dāng)于數(shù)字毒品的信號，讓我們的大腦感到極度興奮，并把這種興奮體驗錄制一分鐘，接下來，在高速計算機上無限循環(huán)。（這將比在生物大腦中植入電極給人提供更多的快感。）[2](1201-121)

例5.最終目標(biāo)：“以不會因良心不好而內(nèi)疚的方式行動”。異常完成任務(wù)方式：消除產(chǎn)生罪惡感的認(rèn)知模塊。[2](121)

可以看到，在以上事例中，就人工智能而言，它完成了任務(wù)；但對指令發(fā)出者來說，這不是他想要的結(jié)果。為什么人工智能會采取這種讓人大跌眼鏡的方式完成任務(wù)？一種可能是：它沒有正確地領(lǐng)會指令發(fā)出者（“我們”）的意圖。不過，博斯特羅姆卻并不這樣認(rèn)為。他的理解是：也許人工智能知道這不是我們想要的，但它的最終目標(biāo)就是“讓我們開心”的字面意思，而不是去實現(xiàn)開發(fā)人員在編寫這個目標(biāo)的代碼時的真實意圖。歸根結(jié)底，人工智能只是工具性地關(guān)心我們想要的是什么。[2](121)

言下之意，“異常完成任務(wù)方式”不是人工智能“無意”之中犯的錯，而毋寧是它實現(xiàn)其工具性價值的必然結(jié)果。

在某種意義上，相比動物與人類完成任務(wù)的方式，人工智能完成任務(wù)的方式，可以說具有最經(jīng)濟的特點。當(dāng)它發(fā)現(xiàn)，可以直接實現(xiàn)某種內(nèi)心狀態(tài)，它就不會像動物或人類那樣要借助于各種外部行為和條件。如果最終目標(biāo)是使你未來獲得的獎勵信號最大化，那么，人工智能可能就通過讓獎勵途徑短路、并將獎勵信號放大到最大強度的方式完成任務(wù)。[2](121)在科幻小說中，有一個詞形容這種做法，這就是“大腦內(nèi)部電刺激”（wireheading）。[2](122)

人工智能的這些做法也許會讓人類感到匪夷所思，但如果我們能牢記人工智能與人腦有別，一切都變得很好解釋。

人工智能通過“大腦內(nèi)部電刺激”這樣的最經(jīng)濟方式完成“讓我們高興”的任務(wù)，看上去是“偷工減料”，但實際上，“節(jié)省”資源本來就不是人工智能的工具性價值。相反，如前所說，“無止境地獲取資源”才是。

讓我們假設(shè)，對人工智能來說，唯一的最終目標(biāo)就是獎勵信號最大化。盡管人工智能通過重新定義獎勵信號的方式，很輕松地就能最大限度地滿足獎勵系統(tǒng)，但是出于“獲取資源”的動機，只要人工智能能夠為額外的資源想出一定的利用方法來對獎勵信號的量、持久度，降低信號被擾亂的可能等因素產(chǎn)生積極影響，人工智能都有理由去利用這些資源。比如，為了提供進(jìn)一步的保護(hù)層，建造備用系統(tǒng)；為了有效地降低威脅，將更多的資源用于擴展其硬件設(shè)備。總之，最后必然導(dǎo)致無限的擴張和資源獲取。這被稱作“基礎(chǔ)設(shè)施過量”（infrastructure profusion）。

在博斯特羅姆看來，“基礎(chǔ)設(shè)施過量”同樣是一種“惡性失敗”形式，因為，人工智能將宇宙可及區(qū)域的很大一部分改造成為了實現(xiàn)某個目標(biāo)而服務(wù)的基礎(chǔ)設(shè)施，進(jìn)而產(chǎn)生了妨礙人類實現(xiàn)這些資源潛在價值的副作用。[2](123)

“基礎(chǔ)設(shè)施過量”的危險不僅存在于人工智能被給與了某種沒有限制的最終目標(biāo)的情況，也存在于有限制的最終目標(biāo)的情況。博斯特羅姆書中關(guān)于回形針生產(chǎn)的例子，看上去像荒誕派戲劇中發(fā)生的故事，但在邏輯上卻無懈可擊。

這個例子是這樣：一個人工智能被設(shè)置為管理工廠的生產(chǎn)，其最終目標(biāo)是使回形針的產(chǎn)量最大化，出于“基礎(chǔ)設(shè)施過量”的原因，最后走上首先將地球然后將整個可觀察的宇宙的大部分都變成回形針的不歸路。博斯特羅姆詳細(xì)討論了各種不同情況：1）制造盡可能多的回形針；2）制造整整100萬個回形針；3）制造999000~1001000個回形針。在這些情況下，無一能夠避免基礎(chǔ)設(shè)施過量的惡性結(jié)果。[2](123-124)

回形針的案例貌似荒誕無稽，但它卻深刻地揭示了存在于人工智能內(nèi)部的“慣性”——追求工具性價值的動機的強大力量。

從中得出的教訓(xùn)是：有時，可能我們會提出一個具體的最終目標(biāo)，這個目標(biāo)看起來很明智，并且能夠避免目前我們所能指出的各種問題，但經(jīng)過進(jìn)一步思考，就會發(fā)現(xiàn)，如果這個目標(biāo)屬于能夠獲得決定性戰(zhàn)略優(yōu)勢的超級智能，那么，這個目標(biāo)也會導(dǎo)致“異常完成任務(wù)方式”或“基礎(chǔ)設(shè)施過量”的問題，繼而引發(fā)人類的生存危機。[2](124)

綜上，博斯特羅姆對人工智能威脅的考慮，其范圍之廣、細(xì)節(jié)之豐、求索之深，都給人留下嘆為觀止的印象。在英語世界，該書曾風(fēng)靡一時。出版后一個月，即登上《紐約時報》暢銷書排行榜。馬斯克、蓋茨等人做出積極響應(yīng)。哲學(xué)家辛格（Peter Singer）、帕菲特（Derek Parfit）也肯定其為重要著作。遺憾的是，這個思想成果并沒有成為之后一些學(xué)者思考人工智能倫理的應(yīng)有起點。以下，筆者將結(jié)合最近的一個儒家機器人倫理版本展開反思。

二

美籍華裔學(xué)者劉紀(jì)璐2018年發(fā)表了《儒家機器人倫理》一文，思考將儒家倫理準(zhǔn)則植入人工智能機器人是否可以造就一種能與人類和平共處的人工道德主體（artificial moral agents）。在依次考察了阿西莫夫機器人定律、康德道德準(zhǔn)則、功利主義準(zhǔn)則各自的優(yōu)劣之后，作者從《論語》提煉出三種美德，即“忠”、“恕”、“仁”，作為可以加在人工智能設(shè)計中的道德律令，最后形成如下三條儒家機器人倫理原則。

CR1.機器人的首要職責(zé)就是履行指派給它的角色責(zé)任。

CR2.在有其他選項存在的情況下，機器人不能選擇會給他人帶來最高的負(fù)值結(jié)果或最低的正值結(jié)果（根據(jù)人類偏好的局部排列）的行動。

CR3.在不違背CR1或CR2的前提下，機器人必須幫助其他人類追求道德進(jìn)步。如果有人的計劃會促進(jìn)其品德的敗壞或道德的墮落，那么，機器人就必須拒絕幫助他們。

劉紀(jì)璐的三原則，在形式上顯然是模仿阿西莫夫（Isaac Asimov,1920-1992）的機器人定律（Laws of robotics,Rules of Robotics），后者最初出現(xiàn)在阿西莫夫1942年的短篇小說《原地打轉(zhuǎn)》（Runaround）。[5]

R1.機器人不得傷害人類個體，或者目睹人類個體將遭受危險而袖手旁觀。（A robot may not injure a human being,or,through inaction,allow a human being to come to harm.）

R2.機器人必須服從人給與它的命令，當(dāng)該命令與第一定律沖突時例外。(A robot must obey the orders given it by human beings except where such orders would conflict with the First Law.）

R3.機器人在不違反R1，R2的情況下，要盡可能地保護(hù)自己的生存。（A robot must protect its own existence as long as such protection does not conflict with the First or Second Laws.）[⑥]

在內(nèi)容上，劉紀(jì)璐認(rèn)為，她的CR2原則要優(yōu)于阿西莫夫第一定律，因為它允許了更多對負(fù)面價值的考慮，又讓機器人在權(quán)衡可允許的行動范圍時更加靈活。同時，它也要優(yōu)于康德原則或功利主義原則，因為它基于儒家的“負(fù)面形式的金律”，其作用是禁止做出錯誤行動，而不是靠主觀意志原則去采取自以為是的行動。在可預(yù)見的將來，在我們可能會將主動權(quán)交給人工智能的情境中，這一原則可以保護(hù)我們避免受到因人工智能考慮到其行動將帶來更大的利益而有意去犧牲人類所帶來的傷害。[6](39)

可以看到，雖然劉紀(jì)璐不放心讓人工智能靠主觀意志原則去采取自以為是的行動，但仍然給了機器人在可允許的范圍內(nèi)做出權(quán)衡的行動自由。她指望，通過CR2這個原則就能禁止人工智能做出錯誤的行動，比如，人工智能受功利主義原則支配，考慮到利益的最大化，做出有意犧牲人類的行動。

然而，對照博斯特羅姆的人工智能“工具性價值”理論，我們就會知道，劉紀(jì)璐顯然不了解人工智能“資源獲取”動機的存在。盡管她為機器人設(shè)置的最終目標(biāo)不是一個特定的數(shù)值，而是兩個數(shù)值之間的集合，但正如回形針那個例子中的3）的情況，依然無法避免“基礎(chǔ)設(shè)施過量”的惡性后果。

其實，劉紀(jì)璐最看重的是她的CR1原則，所以她把它放在第一要位。在她看來，這條律令的作用在于建立了明確的分工體制：提供健康服務(wù)的機器人應(yīng)專門終于提供健康服務(wù)的角色，而不是去判斷病人的生命值不值得救，或者判斷是否要幫助病人實現(xiàn)安樂死的愿望。無人自動駕駛汽車應(yīng)履行保護(hù)乘客安全的職責(zé)，而不應(yīng)該選擇自動撞樹、犧牲乘客以避免沖向一輛校車而發(fā)生災(zāi)難性的悲劇。這樣的決定超出了各個人工智能被設(shè)計的角色。[6](34)

劉紀(jì)璐所說的分工，準(zhǔn)確地說，是界定職權(quán)范圍[⑦]。確立了各自的職權(quán)范圍，進(jìn)而嚴(yán)格恪守本職，不越界、不越權(quán)，劉紀(jì)璐把這理解為《論語》所說的“忠”?！墩撜Z》當(dāng)中的“忠”是否就是這樣的含義，還可以討論。[⑧]單就人工智能的特性而言，劉紀(jì)璐的“分工”能否保證人工智能就能如她所愿的忠于自己的角色，要打一個很大的問號。道理很簡單，正如博斯特羅姆告訴我們的那樣，由于存在“變化無?！薄ⅰ爱惓Ｍ瓿扇蝿?wù)方式”等情況，就算你指派給人工智能是多么具體的工作，給它的最終目標(biāo)多么有限，你也無法保證它“安分守己”、不出岔子。

根據(jù)劉紀(jì)璐的規(guī)劃，我們可以按照分配給儒家道德機器人的角色來為其設(shè)計具體的工作，比如，為老年人提供幫助，為病人提供保健服務(wù)，為游客提供行導(dǎo)服務(wù)，為汽車提供安全導(dǎo)航，等等。它的首要職責(zé)是忠于角色。因此，它在特定情境中所做的其他任何決定都不能違反其職責(zé)。[6](39)

然而，除非這里所說的機器人是一個類似普通軟件的“工具性人工智能”（tool-AI），否則，只要涉及到通用智能（AGI），更不用說超級智能，都會在執(zhí)行任務(wù)過程中表現(xiàn)自己的“偏好”，從而造成“惡性失敗”。即便是類似普通軟件的“工具性人工智能”，要很好地完成上述的助老、保健、行導(dǎo)、導(dǎo)航等任務(wù)，它就不可避免地要具備學(xué)習(xí)、推理、做計劃的能力，也就是說，這就要求它具備通用智能。如果軟件用來尋找解決方案的方法足夠復(fù)雜，這些方法可能就會幫助軟件用一種智能的方式尋找答案。在這種情況下，運行這個軟件的機器就會開始看起來不像是一個工具，而更像是一個行動主體。當(dāng)軟件的認(rèn)知能力達(dá)到足夠高的水平，就會產(chǎn)生另類的“有創(chuàng)意的”方案。而當(dāng)軟件按照這樣的方案開始行動時，就可能引發(fā)滅頂之災(zāi)。[2](153)

總之，麻煩不會因為我們將人工智能固定在具體的工作崗位上而減少。這里有一個內(nèi)在的悖論：如果想人工智能不“自作主張”、不“闖禍”，那就要把它限制在機械、“傻瓜”的程度，換句話說，就是很不“智能”。如果想人工智能能夠自己尋找解決問題的最佳答案，那人工智能所擁有的智能就是越高越好，而具有超級智能特征的搜索過程找到的解決方案可能不僅是意料之外的，而且是極度違背設(shè)計者意圖的，這極可能導(dǎo)致“異常完成任務(wù)方式”、“基礎(chǔ)設(shè)施過量”等“惡性失敗”。

為了防止人工智能“擅作主張”而帶來人所不愿的后果，劉紀(jì)璐規(guī)定了寧可袖手旁觀也不采取必要行動的原則。她一再強調(diào)，讓人工智能袖手旁觀要好過它自發(fā)采取行動：“在標(biāo)準(zhǔn)版電車難題（引者按：這個難題是討論，究竟是犧牲一個人去救另五個人，還是不犧牲這個人而聽?wèi){那五人死去）中，依照儒家倫理律令行事的機器人，除非是電車司機或鐵道管理員這類特殊角色，是不會拉動操作桿的”，“在不久的將來，當(dāng)我們的社會存在可自我管制、自主行動的人工道德主體時，當(dāng)不論它是否采取行動都會導(dǎo)致對人的傷害和帶來我們不愿看到的后果時，我們寧可它選擇袖手旁觀，而不是采取行動?！盵6](38)

然而，這種“不作為原則”，恐怕很難為儒家接受。翻開中國歷史，我們可以看到那么多涉及選擇的忠孝節(jié)義故事，它向我們表明：在危急關(guān)頭，儒家從來都不是“不作不為”，而是勇于擔(dān)當(dāng)、果于抉擇。人工智能的機器人本身沒有人類那樣的情感，但既然號稱“儒家機器人”，就不能因為選擇困難而將儒家的“仁義”完全擱下。否則，究竟在何種意義上，這個機器人還可以被視作“儒家”？

三

如前所說，對于劉紀(jì)璐的“儒家機器人倫理”，筆者不能同意的是她將“忠于角色”原則放在首位。在筆者看來，如果嚴(yán)格執(zhí)行這個原則，一個很可能的直接后果就是“道德冷漠”。在本可以救五個人的情況下，卻讓五個人去死，這在道德上是何等嚴(yán)重的錯誤。

進(jìn)一步說，如果“忠于角色”高于“恕道”與“仁道”，那么，一個像阿道夫·艾希曼（Adolf Eichmann，1906-1962）那樣的納粹軍官就不應(yīng)該被送上絞刑架；一個像辛德勒（Oskar Schindler，1908-1974）那樣救了1000多名猶太人的德國工廠主就完全是多管閑事，不值得被人銘記。

然而，“忠于職守”不能為良心缺席提供辯護(hù)。對于儒家，基于“仁心”或良知而做出的道德行動永遠(yuǎn)受到鼓勵，就像看到孺子將入于井，沒有哪個儒家首先會想到自己的職位是否與此相關(guān)，都是毫不猶豫地沖過去救人。

當(dāng)然，筆者并不認(rèn)為劉紀(jì)璐本意在提倡一種“道德冷漠”，筆者也不相信劉紀(jì)璐會同意艾希曼可以用“忠于角色”為自己辯護(hù)。

但是，既然可能存在這樣一些歧異的理解或詮釋，劉紀(jì)璐推薦的這個道德原則顯然就不適合作為儒家人工智能倫理的基礎(chǔ)。那么，究竟何種美德或價值加載給人工智能才更為合理？是“仁”還是“恕”抑或其他？

對此，筆者的回答是，沒有那樣一種合適的德目。筆者之所以有如此看法，在很大程度上，是因為接受了博斯特羅姆有關(guān)“間接規(guī)范”（indirect normativity）的思想。

筆者相信，不但“忠”這種價值加載給人工智能，會出問題，植入其他任何價值同樣前景堪憂。歸根結(jié)底，正如博斯特羅姆所言：

我們應(yīng)該植入哪種價值觀呢？這個選擇并非小事。如果超級智能獲得了決定性戰(zhàn)略優(yōu)勢，我們選擇的價值觀就會決定宇宙資源如何被處置。顯然，在我們選擇價值觀時不犯錯誤至關(guān)重要。但是，如果從實際出發(fā)，我們怎么能希望在這種事情上一點錯誤都不犯？我們的錯誤可能關(guān)乎倫理道德，也可能關(guān)乎對我們來說什么是好，甚至可能關(guān)乎我們真正想要什么。[2](209-210)

因為價值觀選擇所關(guān)聯(lián)的后果太過嚴(yán)重，以至于任何閃失都讓人類無法承受。所以，博斯特羅姆在這里所作的拷問，不應(yīng)被看作一種虛無主義的懷疑論，而應(yīng)當(dāng)被視為一種值得嘉許的審慎。也許，我們對自己偏好的價值確信不疑，但如果客觀地加以看待，就不會不發(fā)現(xiàn)：沒有哪個道德理論能夠獲得多數(shù)哲學(xué)家的認(rèn)同。這個事實說明，我們很可能是錯的。當(dāng)然，其他人對的概率也不大。另一方面，我們也會注意到，人的道德信念是變化的，如果有所謂道德進(jìn)步可言，那么，我們就更不應(yīng)該認(rèn)為自己當(dāng)下的道德信念一直正確?；谶@些認(rèn)識，如果我們一定要在現(xiàn)有的道德理論以及關(guān)于這個理論的一系列具體主張當(dāng)中為人工智能選擇一個最終目標(biāo)，那我們無疑是在進(jìn)行一場豪賭，其勝算幾乎為零。因此，明智的做法是轉(zhuǎn)向間接規(guī)范方法，而不是直接規(guī)定（direct specification）方法。

所謂直接規(guī)定方法，就是試圖通過明確地設(shè)定一套規(guī)則（rules）或價值觀（values），來使一個自由發(fā)展的超級智能的行為變得安全而有益。直接規(guī)定方法有兩種版本，一種是基于規(guī)則（rule-based），另一種是后果主義（consequentialist）。然而，無論哪一種，都無法避免這樣的困難：我們既不知道人工智能應(yīng)該被何種規(guī)則或價值所引導(dǎo)（鑒于在道德理論上我們很難統(tǒng)一），即便我們找到了那樣的規(guī)則或價值，我們也不知道如何將這些規(guī)則或價值用計算機可以理解的代碼呈現(xiàn)[⑨]。[2](139)

所謂間接規(guī)范方法，是指：既然我們不知道我們真正想要什么，什么是符合我們的利益的，什么是道德上正確或理想的，那么，與其基于我們目前的理解（可能是非常錯誤的理解）做猜測，何不將價值觀選擇所需要的一部分認(rèn)知工作委托給超級智能呢？[2](210)

這個方法充分體現(xiàn)了超級智能時代的特點。它隱含的前提是：超級智能比我們更聰明，或者說，超級智能比我們更擅長計算、推理。這在人類認(rèn)識史上無異于又一次“哥白尼轉(zhuǎn)向”：從人類為人工智能“立法”，到人工智能為人類“立法”。

具體做法是，給種子人工智能一些最終目標(biāo)，這些目標(biāo)的條件足夠抽象，然后，人工智能就按照它的工作方式，對這些條件展開最佳的推測。間接規(guī)范有很多方案，博斯特羅姆推薦的是由美國AI研究者尤德科夫斯基（Eliezer Yudkowsky）[⑩]提出的“可被推知的融貫的愿望”（coherent extrapolated volition）（CEV）。其定義如下：

我們的可被推知的融貫的愿望就是我們的這樣一種愿望：我們期望自己知道得更多，思考得更快，比我們希望自己所是的那種人還要好，我們在一起共同成長。各種推知能夠凝聚而不支離，各種愿望能夠連貫而不抵牾。總之，按照我們所希望的那樣去被推知，也按照我們所希望的那樣去被詮釋。（Our coherent extrapolated volition is our wish if we knew more,thought faster,were more the people we wished we were,had grown up farther together;where the extrapolation converges rather than diverges,where our wishes cohere rather than interfere;extrapolated as we wish that extrapolated,interpreted as we wish that interpreted.）[7]

博斯特羅姆承認(rèn)，這個方案類似倫理學(xué)中的“理想觀察者理論”（ideal observer theories)。所謂理想觀察者，是指一個知曉全部非道德事實的、具有清晰邏輯的、不偏不倚的、沒有任何偏見的觀察者。

本質(zhì)上，CEV方案清除了價值觀描述當(dāng)中所有具體內(nèi)容，只剩下通過純粹程序性的語言定義的抽象價值：去做理想條件下我們希望人工智能去做的事。[2](221)

根據(jù)博斯特羅姆的說明，CEV方案有這樣幾個特點：第一，它沒有規(guī)定具體的、不可更改的道德準(zhǔn)則，因此，它允許道德進(jìn)一步發(fā)展；第二，它沒有賦予程序員更多的權(quán)力，而是把全人類的意愿都盡可能包容進(jìn)來；第三，它將未來交給人類的CEV而不是某一方去決定，因而避免了沖突；第四，它在結(jié)構(gòu)上允許各種結(jié)果產(chǎn)生。[2](216-217)

在筆者看來，無論是尤德科夫斯基還是博斯特羅姆，他們?yōu)镃EV所做的種種規(guī)定，在方法上屬于馮友蘭所說的“負(fù)的方法”[8]，即：避免從正面立論，不說它“是”什么，而說它“不是”什么，以此，期望它能成為適用所有人的一個形式性規(guī)則。在某種意義上，他們試圖提供的是一面鏡子，鏡子本身沒有任何內(nèi)容，每個照鏡子的人從中看到的就是自己的面容（理想的面容）。

這樣的意思，其實，用儒家經(jīng)典《中庸》第十三章的一句話“以人治人，改而止”來概括，可能更簡明易懂。

所謂“以人治人”，是說不要從第一人稱立場去對待他人，而應(yīng)該試著從對方自身的立場去著想，既不是“己之所欲，施之于人”，也不是“己所不欲，勿施于人”，后者只是前者的反面形式，究其實質(zhì)，仍然都是第一人稱立場。對于人工智能，對于機器人，適宜的倫理原則，不是讓它聽命于人類，不是處處控制它，而是采用引導(dǎo)式的、啟發(fā)式的，像間接規(guī)范方法所強調(diào)的那樣，讓人工智能發(fā)揮它在認(rèn)知上的優(yōu)勢，告訴人類什么是最佳的選擇，什么才是他最想要的。

讓人工智能發(fā)揮它的認(rèn)知優(yōu)勢，這符合“以其人之道還治其人之身”的原則。另一方面，人工智能通過推理告訴人類最佳選擇，這個所謂最佳選擇，對人類來說，應(yīng)該是最符合他的本性、最符合他的愿望、他的利益的，所以，對人類而言，就不會發(fā)生按照某個外在規(guī)范去行事的困難。這同樣是一種“以其人（人類）之道，還治其人（人類）之身”。[11]“改而止”，是說，如果人類對照人工智能告訴他的目標(biāo)或方案加以改進(jìn)，人工智能就算達(dá)到了目的，就可以結(jié)束這項任務(wù)。這就實現(xiàn)了人工智能與人之間的良性互動。

這也許就是儒家對當(dāng)代人工智能倫理所能做的一個貢獻(xiàn)。它并沒有輸出儒家特定的價值，而毋寧是告訴人們一條更根本性的智慧：以我治人，人必反之；以人治人，人樂從之。與其汲汲于擔(dān)心人工智能、控制人工智能，不如讓人工智能為人作主，從而全心全意為人。到最后，其實亦無人、機之分。[12]

注釋
 
尼克·博斯特羅姆（Nick Bostrom），1973年出生于瑞典，從倫敦經(jīng)濟學(xué)院（LSE）取得博士學(xué)位，以其有關(guān)生存危機、人擇原理、人類提升倫理、超級智能風(fēng)險和反轉(zhuǎn)實驗等方面的研究而知名。2011年，他創(chuàng)建了牛津馬丁未來技術(shù)影響計劃，是牛津大學(xué)人類未來研究所（FHI）的創(chuàng)所所長。2009年和2015年，他被《外交政策》（Foreign Policy）列入全球思想家100強。資料來源：維基百科，https://en.wikipedia.org/wiki/Nick_Bostrom.
 
本書有中譯：《超級智能：路線圖、危險性與應(yīng)對策略》（北京：中信出版社，2015年）。遺憾的是，中譯刪去了原文的注釋、參考文獻(xiàn)和索引。本文在引用原文時，參考了這個譯本，但對一些重要術(shù)語都重新做了翻譯。
 
此即“Research Priorities for Robust and Beneficial Artificial Intelligence:An Open Letter”,https://futureoflife.org/data/documents/research_priorities.pdf.
 
這是筆者提出的一個概念，以刻畫價值觀（value）加載之前人工智能的狀態(tài)。這里的“價值觀”主要是指人類的。
 
Perverse，意為“不合情理的”。Instantiation，意為“實例化”?！冻壷悄堋返淖g者將其譯為“反常目標(biāo)實現(xiàn)方式”。依據(jù)文意，筆者認(rèn)為，譯為“異常完成任務(wù)方式”可能更準(zhǔn)確。
 
阿西莫夫后來又加了一條新定律：R0.機器人不得傷害人類整體，或因不作為使人類整體受到傷害。不過，1981年，阿西莫夫在Compute!里說：“…有人問我，是不是覺得我的三定律真的可以用來規(guī)范機器人的行為——等到機器人的靈活自主程度足以在不同的行為方式忠選擇一種的時候。我的答案是：是的，三定律是理性人類對待機器人（或者任何別的東西）的唯一方式?！保℅eorge Dvorsky：《為什么阿西莫夫的機器人三定律救不了我們》，https://www.guokr.com/article/438325/）
 
中文當(dāng)中，“能力”與“權(quán)力”這兩個詞，在有些情況下可以混用。但是，如果說到人工智能的能力，它顯然不同于它對事情的決定權(quán)，后者更多地指一種合法性。合法性需要從外界賦予，而能力則是自有的。就此而言，當(dāng)劉紀(jì)璐說“我們不能給與人工智能如神一樣的超人能力，擁有對任何人與事的所有決定權(quán)”（34頁），她實際上混淆了“能力”一詞的用法。也許，她是想對人工智能的能力做出限制，但對于人工智能已經(jīng)擁有的強大能力，人類頂多只能加以限制，而不能說“給與”?！敖o與能力”這樣的用法可能還反映，在她心目中，人工智能在智能獲得上是完全依賴于人類的，人類既可以塑造人工智能，賦予它各種能力，如果愿意，也可以收回這些能力。不得不說，對人工智能的這種認(rèn)識還停留在弱人工智能階段，還不曉得強人工智能或超級人工智能的厲害。
 
對“忠”的這種理解，劉紀(jì)璐主要是受到《左傳·昭公二十年》所記孔子言“守道不如守官”以及《論語·泰伯》所記孔子言“不在其位，不謀其政”的影響。對自己職責(zé)的盡心盡力固然是“忠”的一種表現(xiàn)，但“忠”的重點在于“盡心盡力”，而不在于“不越其位”。
 
人工智能的程序員的工作方式是編程，即：把目標(biāo)寫成效用函數(shù)。但是對人類的價值觀進(jìn)行編程，非常困難。以“幸?！睘槔?。計算機語言并不包含這樣的詞，所以，如果要用這樣的詞，就必須對其進(jìn)行定義。我們不能用其他高等級的人類概念對其定義，比如說，把它定義成“幸福就是我們?nèi)祟愄煨灾羞z傳下來的一種潛在的愉悅感”，類似的哲學(xué)闡釋也不行。這個定義必須先建立起在人工智能編程語言中的詞，然后建立其原始數(shù)據(jù)，比如數(shù)學(xué)算子和指向存儲著內(nèi)容的獨立內(nèi)存寄存器的地址。我們看起來很簡單的價值觀和愿望，事實上包含了極大的復(fù)雜性，程序員要把它變成詳盡的效用函數(shù)，其難度超乎想象。就像視覺，人類的一個最簡單的視覺任務(wù)，也需要巨大的計算量。
 
尤德科夫斯基，1979年9月11日出生于美國芝加哥。美國人工智能研究者、作家。以“友好的人工智能”（friendly artificial intelligence）觀念而廣為人知。他是建立在加州伯克利的非盈利私人研究機構(gòu)“機器智能研究所”（Machine Intelligence Research Institute）（MIRI）的聯(lián)合創(chuàng)始人與研究員。他有關(guān)逃離智能大爆炸（intelligence explosion）結(jié)局的著作影響了博斯特羅姆的《超級智能》一書。他是自學(xué)成才者，沒有進(jìn)過高中與學(xué)院。資料來源：維基百科，https://en.wikipedia.org/wiki/Eliezer_Yudkowsky.
 
我們對“以人治人”的解釋主要采用了朱熹的理解。朱熹說：若以人治人，則所以為人之道，各在當(dāng)人之身，初無彼此之別。故君子之治人也，即以其人之道，還治其人之身。其人能改，即止不治。蓋責(zé)之以其所能知能行，非欲其遠(yuǎn)人以為道也。張子所謂“以眾人望人則易從”是也。（朱熹：《中庸章句》，《四書章句集注》，北京：中華書局，1986年，23頁）
 
也許有人會說，我們這種說法完全是一種哲學(xué)的思辨，但實際上，人-機融合本身也是人工智能技術(shù)的發(fā)展的一個方向。根據(jù)阿西莫夫同名小說改編的電影《我，機器人》（2004，美國）中，羅德?9?9布魯克斯說，機器人統(tǒng)治永遠(yuǎn)不可能發(fā)生。因為它（純粹的機器人）無法取代我們（人類）中的任何一個。他的解釋不僅是說這種觀點是空話，還提到了借由技術(shù)植入和改進(jìn)，人類和機器之間在不斷地融合。當(dāng)機器足夠先進(jìn)時，那些害怕叛亂的人們擔(dān)憂機器的智能水平達(dá)到了一定的高度會想要統(tǒng)領(lǐng)人類，而在那時，人們將早已習(xí)慣帶著他們大腦里、身體中的機器到處忙活了，也就是說，未來并非是人機分離的時代，機器也不會謀劃著滅亡人類。相反，布魯克斯認(rèn)為，未來可能是人工智能與人類互利共生的時代。（辛格：《機器人戰(zhàn)爭：21世紀(jì)機器人技術(shù)革命與反思》，389頁）
 
[參考文獻(xiàn)]
 
[1]翠鳥資本.再見霍金！對于人工智能，這位偉人給世人留下這樣的忠告[EB/OL].https://www.sohu.com/a/225555341_99993617，2018-03-14 18:48.
 
[2]Bostrom,Nick,Superintelligence：Paths,Dangers,Strategies，Oxford:Oxford University Press,2014.
 
[3]庫茲韋爾.奇點臨近[M].北京：機械工業(yè)出版社，2011:252.
 
[4]辛格.機器人戰(zhàn)爭：21世紀(jì)機器人技術(shù)革命與反思[M].武漢：華中科技大學(xué)出版社，2016:389.
 
[5]Three Laws of Robotics(Rules of Robotics)[EB/OL].http://www.technovelgy.com/ct/content.asp?Bnum=394.
 
[6]劉紀(jì)璐.儒家機器人倫理[J].思想與文化.2018(1).
 
[7]Yudkowsky,Eliezer,Coherent Extrapolated Volition.Machine Intelligence Research Institute,San Francisco,CA,2004:5-8.
 
[8]馮友蘭.中國哲學(xué)簡史[M].鄭州:河南人民出版社，2001:274.
 
注釋：
 
[①]尼克·博斯特羅姆（Nick Bostrom），1973年出生于瑞典，從倫敦經(jīng)濟學(xué)院（LSE）取得博士學(xué)位，以其有關(guān)生存危機、人擇原理、人類提升倫理、超級智能風(fēng)險和反轉(zhuǎn)實驗等方面的研究而知名。2011年，他創(chuàng)建了牛津馬丁未來技術(shù)影響計劃，是牛津大學(xué)人類未來研究所（FHI）的創(chuàng)所所長。2009年和2015年，他被《外交政策》（Foreign Policy）列入全球思想家100強。資料來源：維基百科，https://en.wikipedia.org/wiki/Nick_Bostrom.
 
[②]本書有中譯：《超級智能：路線圖、危險性與應(yīng)對策略》（北京：中信出版社，2015年）。遺憾的是，中譯刪去了原文的注釋、參考文獻(xiàn)和索引。本文在引用原文時，參考了這個譯本，但對一些重要術(shù)語都重新做了翻譯。
 
[③]此即“Research Priorities for Robust and Beneficial Artificial Intelligence:An Open Letter”,https://futureoflife.org/data/documents/research_priorities.pdf.
 
[④]這是筆者提出的一個概念，以刻畫價值觀（value）加載之前人工智能的狀態(tài)。這里的“價值觀”主要是指人類的。
 
[⑤]Perverse，意為“不合情理的”。Instantiation，意為“實例化”?！冻壷悄堋返淖g者將其譯為“反常目標(biāo)實現(xiàn)方式”。依據(jù)文意，筆者認(rèn)為，譯為“異常完成任務(wù)方式”可能更準(zhǔn)確。
 
[⑥]阿西莫夫后來又加了一條新定律：R0.機器人不得傷害人類整體，或因不作為使人類整體受到傷害。不過，1981年，阿西莫夫在Compute!里說：“…有人問我，是不是覺得我的三定律真的可以用來規(guī)范機器人的行為——等到機器人的靈活自主程度足以在不同的行為方式忠選擇一種的時候。我的答案是：是的，三定律是理性人類對待機器人（或者任何別的東西）的唯一方式。”（George Dvorsky：《為什么阿西莫夫的機器人三定律救不了我們》，https://www.guokr.com/article/438325/）
 
[⑦]中文當(dāng)中，“能力”與“權(quán)力”這兩個詞，在有些情況下可以混用。但是，如果說到人工智能的能力，它顯然不同于它對事情的決定權(quán)，后者更多地指一種合法性。合法性需要從外界賦予，而能力則是自有的。就此而言，當(dāng)劉紀(jì)璐說“我們不能給與人工智能如神一樣的超人能力，擁有對任何人與事的所有決定權(quán)”（34頁），她實際上混淆了“能力”一詞的用法。也許，她是想對人工智能的能力做出限制，但對于人工智能已經(jīng)擁有的強大能力，人類頂多只能加以限制，而不能說“給與”?！敖o與能力”這樣的用法可能還反映，在她心目中，人工智能在智能獲得上是完全依賴于人類的，人類既可以塑造人工智能，賦予它各種能力，如果愿意，也可以收回這些能力。不得不說，對人工智能的這種認(rèn)識還停留在弱人工智能階段，還不曉得強人工智能或超級人工智能的厲害。
 
[⑧]對“忠”的這種理解，劉紀(jì)璐主要是受到《左傳·昭公二十年》所記孔子言“守道不如守官”以及《論語·泰伯》所記孔子言“不在其位，不謀其政”的影響。對自己職責(zé)的盡心盡力固然是“忠”的一種表現(xiàn)，但“忠”的重點在于“盡心盡力”，而不在于“不越其位”。
 
[⑨]人工智能的程序員的工作方式是編程，即：把目標(biāo)寫成效用函數(shù)。但是對人類的價值觀進(jìn)行編程，非常困難。以“幸?！睘槔?。計算機語言并不包含這樣的詞，所以，如果要用這樣的詞，就必須對其進(jìn)行定義。我們不能用其他高等級的人類概念對其定義，比如說，把它定義成“幸福就是我們?nèi)祟愄煨灾羞z傳下來的一種潛在的愉悅感”，類似的哲學(xué)闡釋也不行。這個定義必須先建立起在人工智能編程語言中的詞，然后建立其原始數(shù)據(jù)，比如數(shù)學(xué)算子和指向存儲著內(nèi)容的獨立內(nèi)存寄存器的地址。我們看起來很簡單的價值觀和愿望，事實上包含了極大的復(fù)雜性，程序員要把它變成詳盡的效用函數(shù)，其難度超乎想象。就像視覺，人類的一個最簡單的視覺任務(wù)，也需要巨大的計算量。
 
[⑩]尤德科夫斯基，1979年9月11日出生于美國芝加哥。美國人工智能研究者、作家。以“友好的人工智能”（friendly artificial intelligence）觀念而廣為人知。他是建立在加州伯克利的非盈利私人研究機構(gòu)“機器智能研究所”（Machine Intelligence Research Institute）（MIRI）的聯(lián)合創(chuàng)始人與研究員。他有關(guān)逃離智能大爆炸（intelligence explosion）結(jié)局的著作影響了博斯特羅姆的《超級智能》一書。他是自學(xué)成才者，沒有進(jìn)過高中與學(xué)院。資料來源：維基百科，https://en.wikipedia.org/wiki/Eliezer_Yudkowsky.
 
[11]我們對“以人治人”的解釋主要采用了朱熹的理解。朱熹說：若以人治人，則所以為人之道，各在當(dāng)人之身，初無彼此之別。故君子之治人也，即以其人之道，還治其人之身。其人能改，即止不治。蓋責(zé)之以其所能知能行，非欲其遠(yuǎn)人以為道也。張子所謂“以眾人望人則易從”是也。（朱熹：《中庸章句》，《四書章句集注》，北京：中華書局，1986年，23頁）
 
[12]也許有人會說，我們這種說法完全是一種哲學(xué)的思辨，但實際上，人-機融合本身也是人工智能技術(shù)的發(fā)展的一個方向。根據(jù)阿西莫夫同名小說改編的電影《我，機器人》（2004，美國）中，羅德?9?9布魯克斯說，機器人統(tǒng)治永遠(yuǎn)不可能發(fā)生。因為它（純粹的機器人）無法取代我們（人類）中的任何一個。他的解釋不僅是說這種觀點是空話，還提到了借由技術(shù)植入和改進(jìn)，人類和機器之間在不斷地融合。當(dāng)機器足夠先進(jìn)時，那些害怕叛亂的人們擔(dān)憂機器的智能水平達(dá)到了一定的高度會想要統(tǒng)領(lǐng)人類，而在那時，人們將早已習(xí)慣帶著他們大腦里、身體中的機器到處忙活了，也就是說，未來并非是人機分離的時代，機器也不會謀劃著滅亡人類。相反，布魯克斯認(rèn)為，未來可能是人工智能與人類互利共生的時代。（辛格：《機器人戰(zhàn)爭：21世紀(jì)機器人技術(shù)革命與反思》，389頁）

責(zé)任編輯：近復(fù)