「某種危險潛伏其中」：第一個聊天機器人的發明者如何反對人工智慧

計算機科學家約瑟夫·魏岑鮑姆（Joseph Weizenbaum）是人工智慧的黎明時期的一位重要人物，但他堅持我們絕不能將計算機與人類混淆。

作者: Ben Tarnoff  來源: theguardian.com

1966年，麻省理工學院的教授約瑟夫·魏岑鮑姆創造了第一個聊天機器人。他將其設定為一位心理治療師的角色。用戶會在連接到大型機器的電動打字機上輸入一條信息。片刻後，「心理治療師」會回答。

魏岑鮑姆在一篇解釋聊天機器人工作原理的期刊文章中發表了這個示例交流。該軟體程式相對簡單。它會查看用戶的輸入並應用一組規則生成一個合理的回答。他將這個程式稱為 Eliza，以Pygmalion中的Eliza Doolittle命名。喬治·伯納德·肖（George Bernard Shaw）的戲劇中的倫敦東區女花販使用語言產生一種錯覺：她提高了自己的演講技巧，以至於可以冒充一位公爵夫人。同樣，Eliza會以一種使人產生錯覺的方式說話，讓人覺得它理解坐在打字機前的人。

「有些人很難相信，Eliza（以其現有的腳本）並非人類，」Weizenbaum寫道。在隔年發表的一篇後續文章中，他更具體地說道：有一天，他的秘書請求與Eliza交談一段時間。過了一會兒，她要求Weizenbaum離開房間。「我相信這個軼事證明了該程式成功地保持了對理解的幻覺，」他指出。

Eliza並不是完全無名的。當時它引起了轟動——波士頓環球報派記者坐在打字機旁，並刊登了對話的摘錄——至今仍然是計算機歷史上最著名的發展之一。最近，ChatGPT的發布再次引起了人們的興趣。在過去的一年裡，Eliza在《衛報》、《紐約時報》、《大西洋月刊》等媒體上被提及。人們對這款將近60年歷史的軟件仍然關注的原因與其技術層面無關，即使按照當時的標準，它的技術也不算特別先進。相反，Eliza揭示了一種強烈影響我們與計算機關係的人類心智機制。

在他的職業生涯早期，西格蒙德·弗洛伊德注意到他的病人總是愛上他。他得出結論，這不是因為他特別迷人或好看。相反，更有趣的事情正在發生：移情作用。簡而言之，移情是指我們將對過去某個人的感情投射到我們現在的某個人身上的傾向。雖然在精神分析中會被放大，但這是所有關係的特點。當我們與他人互動時，我們總是帶著一群幽靈出現。我們早年生活的殘留，尤其是我們的童年，是我們看待彼此的過濾器。

這個概念有助於理解人們對Eliza的反應。Weizenbaum偶然發現了計算機化的移情現象，人們將理解、共情和其他人類特徵歸因於軟件。雖然他從未使用過這個術語，但他對精神分析有著悠久的歷史，這清楚地影響了他對所謂的“Eliza效應”的解釋。

隨著計算機能力的提高，Eliza效應只會變得更加強大。以ChatGPT與人們的互動方式為例。在這個聊天機器人內部，有一個“大型語言模型”，這是一個數學系統，訓練用於預測序列中下一個字符、單詞或句子。ChatGPT的獨特之處不僅在於其基礎的大型語言模型的複雜性，還在於它那近乎對話的聲音。正如Meta的數據科學家Colin Fraser所說，這個應用程式“旨在欺騙你，讓你認為你正在與一個實際不存在的人交談”。

但Eliza效應遠不是回到Weizenbaum的唯一原因。他對軟體程式的經歷是一段非凡之旅的開始。作為一位擁有卓越職業生涯的麻省理工學院教授，他自稱是現代科學大教堂的“高級祭司，如果不是主教”。但到了1970年代，Joseph Weizenbaum成為了一個異端，發表文章和書籍譴責同事們的世界觀，並警告他們的工作帶來的危險。他開始相信，人工智能是“我們世界瘋狂的指標”。

今天，在人工智慧領域工作的人中，認為人工智慧構成某種威脅的觀點已不再是少數派。對於我們應該最擔心哪些風險存在不同的意見，但許多知名研究人員，從Timnit Gebru到Geoffrey Hinton – 兩位前谷歌計算機科學家 – 都分享了這樣的基本觀點，即這項技術可能具有毒性。Weizenbaum的悲觀主義使他在過去三十年的生活中成為一個孤獨的人物；到2023年，他將不再孤獨。

Weizenbaum的思想中有很多是當下迫切相關的。也許他最基本的異端是相信，計算機革命實際上是一場反革命，而Weizenbaum不僅經歷了這場革命，還在其中發揮了核心作用。它加強了壓迫性的權力結構，而不是顛覆它們。它限制了我們的人性，讓人們把自己看作僅僅是機器。他認為，通過把這麼多決策交給計算機，我們創造了一個更不平等、更不理性的世界，其中人類理性的豐富性已被壓縮成毫無意義的程式碼。

Weizenbaum喜歡說，每個人都是特定歷史的產物。他的思想帶有他自己特定歷史的烙印，這個歷史主要受到20世紀的暴行和他個人困擾的要求的影響。計算機對他來說是自然而然的。他說，困難的部分是生活。

成為人類的意義 – 以及人類與電腦的不同之處 – 是魏岑鮑姆花了很多時間思考的問題。所以他自己的人性從一開始就受到了質疑。他的母親在分娩時遇到了困難，對結果感到一些失望。魏岑鮑姆後來回憶說：“當她終於看到我時，她覺得我是一團血淋淋的爛攤子，幾乎看不出是人類。她無法相信這個應該是她的孩子。”

他於1923年出生，是柏林一個同化的上中產階級猶太家庭的最小兒子。他的父親耶希爾從加利西亞移民到德國，加利西亞橫跨現在的東南波蘭和西烏克蘭，當時他12歲。他是一位有成就的裘皮商人，在社會上取得了舒適的地位，擁有一套漂亮的公寓和一位年輕得多的維也納妻子（魏岑鮑姆的母親）。從一開始，耶希爾對待他的兒子充滿蔑視，這種蔑視將在魏岑鮑姆的一生中困擾著他。魏岑鮑姆後來告訴紀錄片製片人彼得·哈斯和西爾維亞·霍爾辛格：“我父親絕對相信我是一個一無是處的白癡，一個完全的傻瓜，我永遠不會成為什麼。”

當他長大到能記住事情時，納粹黨已經無所不在。他的家人住在一家常常被希特勒的準軍事組織SA頻繁光顧的酒吧附近，有時他會看到人們被拖進後面的房間打人。有一次，當他和保姆外出時，一列武裝的共產主義者和納粹分子排成隊伍，開始互相射擊。保姆把他推到一輛停著的車底下，直到子彈停止飛行。

1933年希特勒成為總理後不久，政府通過了一項嚴重限制猶太人在公立學校就讀的法律。魏岑鮑姆不得不轉學到一所猶太男子學校。就在這裡，他第一次接觸到東歐的猶太人，他們貧困、衣衫襤褸，說著意第緒語。對於魏岑鮑姆來說，他們就像來自火星一樣。然而，他與他們在一起的時間給了他一種他後來形容為“新的同志感覺”，以及對“壓迫的敏感”。他尤其與一位同學建立了深厚的情感聯繫。他後來說：“如果命運不同，我可能會對這個男孩產生同性戀的愛。”這個男孩“帶我進入他的世界”，這就是柏林格勒納迪爾街周圍猶太人區的世界。“他們一無所有，但不知怎麼彼此支持，”他回憶道。

有一天，他把這個男孩帶回了他家的公寓。他的父親，曾經也是來自東歐的窮猶太男孩，感到厭惡和憤怒。魏岑鮑姆記得耶希爾非常自豪，他有理由這樣，因為他從猶太村莊走過了字面和比喻上的距離。現在他的兒子又把猶太村莊帶回了他的家中。

魏岑鮑姆在父母的疏遠中感到孤立無援，在他的同學中比他們富有，在納粹德國成為一個猶太人：魏岑鮑姆在任何地方都感到不舒服。他說，他的本能總是“咬食養我的手”，挑釁父權形象，成為一個痛苦的人。這種本能可能來自他從父親對他的敵意和對他所愛的男孩的偏見中學到的教訓：危險可能存在於家庭、人群和部落之中。

1936年，這個家庭突然離開了德國，可能是因為Jechiel與一位SA成員的女友發生了關係。Weizenbaum的姑姑在底特律擁有一家麵包店，所以他們就去了那裡。13歲時，他發現自己距離他所熟悉的一切有4000英里遠。「我非常非常孤獨」，他回憶道。學校成為了他逃離現實的避風港，特別是代數，因為代數不需要英語，而他一開始不會講英語。「在所有可以學習的東西中」，他後來說道，「數學似乎是最容易的。數學是一個遊戲。它完全是抽象的。」

在他學校的金屬加工課上，他學會了操作車床。這個經驗使他從大腦轉向身體。大約70年後，他回顧起這個新技能帶給他的體悟：智慧「不僅存在於頭腦中，還存在於手臂、手腕和手中」。因此，在年輕的時候，他就形成了兩個概念，這些概念後來將引導他成為AI的實踐者和評論家：一方面，對抽象的樂趣有所欣賞；另一方面，對這種樂趣的懷疑，認為它是一種逃避現實的方式，並且相關地理解人類的智慧存在於整個人而不僅僅是某一部分。

1941年，Weizenbaum入讀當地的公立大學。韋恩大學是一個工人階級的地方：入學費便宜，充滿了全職工作的學生。在柏林種下的社會意識的種子開始生長：Weizenbaum看到了底特律黑人壓迫和希特勒統治下猶太人的相似之處。這也是城市中激烈的階級鬥爭時期——美國汽車工人聯合會在Weizenbaum上大學的同一年與福特簽署了第一份合同。

Weizenbaum的左翼政治承諾使他對數學的熱愛變得複雜。他回憶說：“我想為世界或社會做些事情。研究純數學，好像世界一切都好，甚至根本不存在 – 那不是我想要的。”他很快有了機會。1941年，美國參加了第二次世界大戰；第二年，Weizenbaum被徵召入伍。接下來的五年裡，他在美國不同的基地擔任氣象學家，隸屬於陸軍航空隊。他後來說，軍隊是他的“救星”。多麼有趣，可以擺脫家庭，同時對抗希特勒。

在休假期間，他與Selma Goode展開了一段戀情，她是一位猶太民權活動家，也是美國民主社會主義者的早期成員。不久之後，他們結婚了，有了一個男嬰，戰爭結束後，Weizenbaum搬回了底特律。在那裡，他繼續在韋恩大學學習，現在是由聯邦政府通過退伍軍人法案提供資助。

然後，在1940年代末，這對夫婦離婚了，Goode獲得了他們兒子的監護權。Weizenbaum後來說：“對我來說，那真是太悲劇了，我花了很長時間才從中走出來。”他的精神狀態永遠不穩定：他的女兒Pm – 發音為“Pim”，以紐約左翼日報PM命名 – 告訴我，他在大學期間因厭食症住院。他覺得自己做的每件事都不好。在軍隊中，他被提升為中士並名譽退役；然而，他離開時確信自己在某種程度上阻礙了戰爭努力。他後來將自己的自我懷疑歸因於父親不斷告訴他他一無是處。“如果這樣的話在你孩童時期一再重複，你最終會相信它，”他反思道。

在Selma離開後引發的個人危機之後，出現了兩次重要的首次相遇。他進行了心理分析，也進入了計算領域。 在那些日子裡，計算機就像心靈一樣是一個內部的存在。魏岑鮑姆在2010年的一部紀錄片中說：“你不是去使用計算機，而是進入它。”戰爭促使人們建造能夠機械化數學計算的巨型機器。計算機幫助破解納粹的密碼，找到最佳的炮擊角度。在冷戰初期，軍事工業複合體的整合吸引了大量美國政府的資金用於發展這項技術。到了1940年代末，現代計算機的基本原理已經確立。

但是要得到一台計算機仍然不容易。所以魏岑鮑姆的一位教授決定自己建造一台。他組建了一個小團隊的學生，並邀請魏岑鮑姆加入。在建造計算機的過程中，魏岑鮑姆感到快樂和有目標。他回憶說：“我充滿了生機和對工作的熱情。”這裡有著他在中學代數中首次遇到的抽象力量。就像代數一樣，計算機對現實進行建模，從而簡化了現實，但它可以以如此真實的方式進行建模，以至於人們很容易忘記它只是一個表示。軟件也給人一種掌控感。“程序員在一個舞台上擁有一種無法比擬的權力，這個舞台比劇場導演的權力還要大，比莎士比亞的權力還要大。”他在2007年的紀錄片《工作中的叛逆者》中說。

大約在這個時候，魏岑鮑姆遇到了一位名叫魯思·馬內斯的教師。1952年，他們結婚並搬到了大學附近的一個小公寓。他們的女兒米莉亞姆告訴我，她在文化上與他相去甚遠。她不像他的第一任妻子那樣是一個猶太社會主義者，她的家族來自美國南部。他們的婚姻代表了他追求正常和安定生活的努力，米莉亞姆說。他的政治熱情冷卻了下來。

到了1960年代初，魏岑鮑姆在矽谷的通用電氣公司擔任程式設計師。他和魯思正在撫養三個女兒，不久後還會有第四個孩子。在通用電氣公司，他為海軍建造了一台發射導彈的電腦，還為美國銀行建造了一台處理支票的電腦。他後來說：“當時我從未想到我正在參與一項科技企業，它有一些社會副作用，我可能會後悔。”

1963年，享有盛名的麻省理工學院打來電話。他想加入該校教職成為訪問副教授嗎？「這就像是給一個年輕男孩提供在一家製造玩具火車的玩具工廠工作的機會一樣，」韋岑鮑姆回憶道。

韋岑鮑姆在底特律幫助建造的電腦是一個巨獸，佔據了整個講堂，散發出足夠的熱量讓圖書館在冬天保持溫暖。與它互動需要一系列高度結構化的儀式：你用手寫出一個程序，將其編碼為打孔卡上的孔洞圖案，然後將卡片放入電腦中運行。這是技術早期的標準操作程序，使得編程變得繁瑣而費力。

麻省理工學院的計算機科學家們尋求一種替代方案。1963年，該大學以220萬美元的撥款從五角大廈展開了「MAC計劃」，這是一個有很多含義的縮寫，包括「機器輔助認知」。該計劃的目標是創造一個更加可靠且能夠滿足個人需求的計算機系統。

為此，計算機科學家們完善了一種被稱為「分時共享」的技術，使得我們今天所熟悉的計算成為可能。與其將一堆打孔卡裝載進去，然後第二天回來看結果，你可以輸入一個命令並立即得到回應。此外，多個人可以同時從個別終端使用一個主機，這使得這些機器看起來更加個人化。

隨著分時共享的出現，出現了一種新型軟件。在麻省理工學院系統上運行的程式包括用於將消息從一個用戶發送到另一個用戶（電子郵件的前身）、編輯文本（早期的文字處理）和搜索一個包含1.5萬篇期刊文章的數據庫（原始的JSTOR）。分時共享還改變了人們編寫程式碼的方式。這項技術使得「與計算機對話」成為可能，韋岑鮑姆後來回憶道。軟體程式開發可以成為程式設計師和機器之間的對話：你嘗試寫一點程式碼，看看回傳什麼，然後再嘗試一點。

Weizenbaum 想要更進一步。如果你能夠用所謂的自然語言，比如英語，與一台電腦對話，會怎樣呢？這個問題引導了 Eliza 的創造，它的成功使他在大學中聲名大噪，並在 1967 年幫助他獲得終身教職。這也使 Weizenbaum 加入了麻省理工學院的人工智能計劃，該計劃於 1958 年由 John McCarthy 和 Marvin Minsky 創立。

McCarthy 在幾年前創造了「人工智能」這個詞語，當時他需要一個學術研討會的標題。這個詞語足夠中立，避免與現有的研究領域（如控制論）重疊，足夠模糊，吸引跨學科的貢獻，也足夠大膽，傳達了他對機器能力的激進主義（或者，如果你喜歡，傲慢）。這種激進主義在最初的研討會提案中得到了確認。「學習的每個方面或智能的任何其他特徵原則上都可以被如此精確地描述，以至於可以製造出模擬它的機器」，它宣稱。

明斯基對於科技的能力充滿信心，他常常宣稱人類大腦只不過是一台「肉機器」，其功能可以被人造機器複製，甚至超越。魏岑鮑姆從一開始就不喜歡他。魏岑鮑姆對科技能力的信心並不是他的困擾；他自己在1960年代中期就見證了電腦的巨大進步。相反，魏岑鮑姆對明斯基和整個人工智慧界的困擾，源於對人類狀況本質的根本分歧。

在魏岑鮑姆1967年關於Eliza的第一篇文章的後續中，他主張沒有任何電腦能夠完全理解一個人。然後他更進一步：沒有任何人能夠完全理解另一個人。他主張，每個人都是由一系列獨特的生活經歷所塑造，我們攜帶著這些經歷，這限制了我們理解彼此的能力。我們可以使用語言進行溝通，但對於不同的人來說，同樣的詞語會引起不同的聯想，有些事情根本無法溝通。「每個人都有一種絕對阻止我們將任何想法完全傳達給外界的終極隱私，」魏岑鮑姆寫道。

這與明斯基或麥卡錫的觀點截然不同。這明顯受到精神分析的影響。這裡的心靈不是一台肉機器，而是一種有深度和奇異性的東西。如果我們對彼此甚至對自己都常常難以理解，那麼電腦如何能夠了解我們呢？

然而，正如Eliza所展示的，讓人們認為電腦了解他們，甚至將電腦視為人類是非常容易的。即使在他最初的1966年文章中，魏岑鮑姆就對這種現象的後果感到擔憂，警告這可能會使人們認為電腦具有「判斷」的能力，值得被信任。「某種危險潛伏其中，」他寫道。

在20世紀60年代中期，這就是他所願意做的。他指出了一個危險，但並未深入探討。畢竟，他是一個逃過大屠殺的沮喪的孩子，總是感覺自己是一個騙子，但在科技的高殿中找到了聲望和自我價值。承認你擅長且喜歡的事情對世界有害，可能很難，甚至更難付諸行動。對魏岑鮑姆來說，需要一場戰爭才能知道接下來該做什麼。

1969年3月4日，麻省理工學院的學生舉行了為期一天的「研究停擺」，以抗議越南戰爭及他們學校在其中的角色。人們冒著雪和寒冷的天氣湧入校園核心的克雷斯基禮堂，參加從前一晚開始的一系列講座和座談會。諾姆·喬姆斯基和反戰參議員喬治·麥戈文都發表了演講。學生運動在麻省理工學院一直在增長，但這是迄今為止最大的示威活動，並在全國媒體上得到廣泛報導。其中一位主要組織者後來寫道：“1969年的感覺是科學家在一個巨大的邪惡中有共犯之嫌，而3月4日的重點是如何改變這種情況。”

魏岑鮑姆支持這一行動，並受到當時政治動力的強烈影響。他在一次訪問中解釋說：“直到民權運動、越戰和麻省理工學院在武器開發中的角色合併之後，我才開始批判。”在他生命的最後幾年裡，他回顧了自己在1960年代的政治化，將其視為回歸底特律左派時代和在納粹德國的經歷的社會意識：“我忠於自己，”他告訴德國作家古納·溫特。

他開始思考那些將自己的專業知識貸予納粹政權的德國科學家。“我不得不問自己：我想扮演那種角色嗎？”他在1995年回憶道。他有兩個選擇。一個是「將所有這種思想壓下去」，壓抑它。另一個是「認真地看待它」。

認真看待它需要檢視他的領域與當時正在向越南兒童投下汽油彈的戰爭機器之間的密切聯繫。國防部長羅伯特·麥克納馬拉將計算機作為他在五角大樓推行數學思維的十字軍運動的一部分。從戰場獲得的數據，通過軟件進行分析，幫助軍事規劃者決定在哪裡部署部隊和投下炸彈。

到了1969年，麻省理工學院（MIT）從五角大廈獲得的資金比全國任何其他大學都多。該學院的實驗室進行了一些針對越南的項目，例如開發一種穩定直升機的系統，以便機槍手更容易地摧毀叢林下的目標。韋茲恩鮑姆創建Eliza的MAC計劃一直由五角大廈資助。

當韋茲恩鮑姆在思考這種合作時，他發現他的同事們大多數不關心他們的研究可能被用於什麼目的。他們告訴他，如果我們不做，其他人會做。或者：科學家不制定政策，把這留給政治家。韋茲恩鮑姆再次想起了納粹德國的科學家，他們堅稱他們的工作與政治無關。

受責任感驅使，韋茲恩鮑姆致力於反戰運動。他的女兒Pm告訴我：“他變得如此激進，以至於在那個時候他幾乎沒有進行任何計算機研究。”相反，他參加了街頭示威活動，與反戰學生會面。在可能的情況下，他利用自己在麻省理工學院的地位來削弱該大學對學生行動主義的反對。在1970年學生佔領校長辦公室後，韋茲恩鮑姆擔任了紀律委員會的成員。根據他的女兒米莉亞姆的說法，他堅持嚴格遵守正當程序，從而盡可能拖延審理時間，以便學生能夠順利畢業。

正是在這個時期，有關Eliza的某些未解決問題開始更加深深地困擾著他。為什麼人們對這個聊天機器人如此熱情和如此幻想，尤其是那些應該更清楚的專家們？一些精神科醫生將Eliza譽為自動心理治療的第一步；一些計算機科學家將其視為解決理解語言軟件問題的解決方案。韋茲恩鮑姆相信這些反應“是更深層次問題的症狀” – 這些問題在某種程度上與越戰有關。如果他無法弄清楚這些問題，他將無法在專業上繼續前進。

1976年，Weizenbaum出版了他的巨著《電腦力量與人類理性：從判斷到計算》。自由主義活動家Karl Hess在一篇推薦評論中寫道：“這本書讓我感到不知所措，就像被大海撞擊一樣。”這本書確實令人震撼。它是一連串關於電腦的思考的混亂攻擊。從目錄中可以看出Weizenbaum的對話者的範圍：不僅有像Minsky和McCarthy這樣的同事，還有政治哲學家Hannah Arendt、批判理論家Max Horkheimer和實驗劇作家Eugène Ionesco。他在加州斯坦福大學完成研究員工作後開始撰寫這本書，那裡沒有責任，有一個大辦公室，並且與文學評論家、哲學家和精神病學家進行了許多刺激的討論。通過《電腦力量與人類理性》，他並不是放棄計算機科學，而是試圖打開它，讓其他傳統湧入其中。

這本書有兩個主要論點。首先：人和機器之間存在差異。其次：有些任務不應該讓計算機去做，無論計算機是否能夠做到。書名的副標題《從判斷到計算》提供了這兩個陳述如何相互關聯的線索。

對Weizenbaum來說，判斷涉及由價值觀指導的選擇。這些價值觀是通過我們的生活經驗獲得的，並且必然是值得：它們無法用程式碼捕捉。相比之下，計算是量的。它使用技術計算方法來做出決策。計算機只能進行計算，而無法進行判斷。這是因為它們不是人類，也就是說，它們沒有人類的歷史-它們沒有母親，沒有童年，也沒有人類的身體或擁有人類的心靈和無意識-因此沒有形成價值觀的基礎。

這將是好的，如果我們只把電腦限制在只需要計算的任務上。但多虧了一場由他稱為「人工智能知識分子」所發起的成功意識形態運動，人們越來越認為人類和電腦可以互換。結果，電腦被賦予了在它們毫無能力的事務上擁有權威。 （讓電腦在法律場所擔任法官或臨床場所擔任心理醫生的功能，是一種「可怕的淫穢」，Weizenbaum寫道。）將人類和電腦視為可以互換的也意味著人類開始將自己視為電腦，並且像它們一樣行事。他們通過放棄判斷而機械化了他們的理性能力，這反映了他們所看到的機器。

這對政策產生了特別具有破壞性的後果。政府和商界的有權勢的人物可以將決策外包給電腦系統，以此來延續某些做法，同時免除自己的責任。正如轟炸機飛行員「不對燒傷的孩子負責，因為他從未見過他們的村莊」，Weizenbaum寫道，軟體為將軍和高管提供了與他們所造成的痛苦相當程度的心理距離。

讓電腦做出更多決策也縮小了可以做出的決策範圍。受到算法邏輯的限制，軟體缺乏人類判斷的靈活性和自由。這有助於解釋計算中心的保守衝動。Weizenbaum寫道，從歷史上看，電腦「正好及時」出現。但是及時出現為了什麼？「及時來拯救 – 並且幾乎完整地拯救下來，實際上是頑固和穩定 – 否則可能會被徹底改造或者被迫滿足對它們提出的要求的社會和政治結構。」

電腦在1960年代成為主流，深深扎根於美國機構中，而這些機構正面臨多重嚴峻挑戰。民權運動、反戰運動和新左派運動只是這個時代反建制能量表達的幾個途徑。抗議者經常以資訊技術為目標，不僅因為它在越戰中的角色，也因為它與資本主義的束縛力量有關。1970年，威斯康辛大學的活動人士在佔領建築物期間摧毀了一台大型計算機；同年，在紐約大學，抗議者幾乎用火燒瓶炸毀了一台計算機。

這就是《電腦力量與人類理性》出現的氛圍。計算已經變得極度政治化。人們對於它應該走向的道路仍然存在一個開放的問題。威澤恩鮑姆在書的引言中寫道，一方面是那些“相信電腦應該有限度的人”，另一方面是那些“相信電腦可以、應該和將會做任何事情的人” – 人工智能知識分子。

馬克思曾將他的著作《資本論》描述為「迄今為止對資產階級頭上投擲的最可怕的導彈」。《電腦力量與人類理性》似乎以相似的力量打擊了人工智能界。原始的人工智能專家麥卡錫憤怒地表示：「道德化且不連貫」，這是一部「新左派口號化」的作品，他在一篇評論中寫道。麻省理工學院人工智能實驗室的本傑明·庫珀斯（Minsky的博士生）抱怨魏岑鮑姆對人工智能研究界的「嚴厲且有時尖銳的指責」。魏岑鮑姆投身於這場爭論之中：他寫了一篇逐點回應麥卡錫評論的文章，這導致耶魯大學的人工智能科學家羅傑·C·尚克作出回應，而魏岑鮑姆也回應了他。他顯然對這場戰鬥感到愉快。

1977年春天，這場爭議擴散到《紐約時報》的頭版。記者李·登巴特寫道：“機器能思考嗎？它們應該嗎？電腦界正就這些問題展開一場基本性的爭論。”魏岑鮑姆在麻省理工學院的辦公室接受了一次採訪：“我宣布了異端，我是一個異端者。”

《電腦力量與人類理性》引起了如此大的轟動，因為其作者來自計算機科學界。但另一個因素是人工智能本身的困境。到了1970年代中期，預算緊縮和政府圈子對這一領域未能達到預期效果的不滿產生了第一次“人工智能寒冬”。研究人員現在很難獲得資金。他們對魏岑鮑姆的反應如此激烈，至少部分原因是他們認為他趁他們落魄之際踢他們一腳。

在這些年份裡，人工智能並不是唯一一個受到批評的計算領域。國會最近一直在考慮如何監管政府和企業的“電子數據處理”，以保護人們的隱私並減輕計算機化決策可能帶來的潛在危害。（1974年通過了經過淡化的隱私法案。）在校園裡攻擊計算機中心的激進分子和國會密切關注數據監管之際，第一次“科技抵制浪潮”來臨了。對魏岑鮑姆來說，這是一個好時機。

電腦力量與人類理性使他聲名大噪。他感到非常高興。「對他來說，被認可是非常重要的，」他的女兒米莉安告訴我。作為「麻省理工學院實驗室的悲觀主義者」（波士頓環球報），他成為了記者們在撰寫關於人工智能和電腦的文章時的首選消息來源，總是能提供令人難忘的引文。

但是，自童年以來一直困擾著他的疑慮和焦慮從未離開。「我記得他說他感覺自己像個騙子，」米莉安告訴我。「他不認為自己像人們想的那麼聰明。他從來沒有覺得自己足夠好。」隨著對這本書的興奮逐漸消退，這些情緒變得壓倒性。他的女兒Pm告訴我，魏岑鮑姆在1980年代初曾試圖自殺。他曾被送進醫院；一位精神科醫生診斷他患有自戀性人格障礙。他在自大和沮喪之間劇烈擺盪的情緒對他的親人造成了傷害。「他是一個非常受傷的人，他只能承受有限的愛和家庭，」Pm說。

1988年，他從麻省理工學院退休。「我覺得他最終感到相當孤立，」米莉安告訴我。在1990年代初，他的第二任妻子露絲離開了他；1996年，他回到了他60年前逃離的柏林。「一旦他回到德國，他似乎更加滿足並投入生活，」Pm說。他在那裡生活更輕鬆。隨著他在美國的名聲逐漸消退，他在德國的名聲卻增加了。他成為一位受歡迎的演講者，填滿了演講廳，並接受德語訪問。

後來的魏岑鮑姆對未來變得越來越悲觀，比他在1970年代時更悲觀。氣候變化使他感到恐懼。然而，他對根本性變革的可能性抱有希望。正如他在2008年1月的一篇《南德意志報》文章中所說：“相信科學和技術將拯救地球免於氣候崩潰的影響是誤導人的。沒有什麼能拯救我們的子孫免於地獄般的地球。除非：我們組織起來對抗全球資本主義的貪婪。”

兩個月後的2008年3月5日，魏岑鮑姆因胃癌去世，享年85歲。

當Weizenbaum去世時，人工智慧（AI）的聲譽已經很差。這個詞變成了失敗的代名詞。麥卡錫在美國世紀的巔峰時期制定的目標在隨後的幾十年逐漸熄滅。讓電腦執行與智能相關的任務，如語音轉文字或從一種語言翻譯成另一種語言，結果比預期的要困難得多。

如今，情況看起來完全不同。我們有能夠很好地進行語音識別和語言翻譯的軟體。我們還有能夠識別人臉並描述照片中出現的物體的軟體。這是自Weizenbaum去世以來發生的新一波AI繁榮的基礎。最近的一個例子是以ChatGPT為中心的“生成式AI”應用，它可以以越來越高的精確度合成文本、音頻和圖像。

從技術層面上看，我們所謂的AI技術並不是Weizenbaum半個世紀前所考慮的那些技術。當《計算機能力與人類理性》出版時，神經網絡在AI界已經不再流行，直到Weizenbaum去世幾年後才經歷了一次嚴肅的復興。

但是Weizenbaum始終更關心AI作為一種思想而不是技術 – 也就是相信電腦可以並且應該做到人類所能做的一切。這種思想至今仍然存在且更加強大，甚至可能比Weizenbaum時代更強大。

Weizenbaum的某些噩夢已經成真：所謂的風險評估工具正在被美國的法官們用於關鍵性的保釋、判刑、假釋和緩刑決策，而由AI驅動的聊天機器人常常被吹捧為看見人類治療師的自動替代品。結果可能和他預期的一樣可怕。根據今年早些時候的報導，一位比利時的兩個孩子的父親在與一個名為Eliza的AI虛擬形象交談數周後自殺身亡。他的遺孀與布魯塞爾的報紙La Libre分享的聊天記錄顯示，Eliza積極鼓勵這個男人自殺。

另一方面，魏岑鮑姆可能會感到欣慰的是，人工智慧的破壞性潛力現在已經成為一個極大關注的問題。這不僅讓政策制定者擔心不已 – 歐盟正在制定世界上第一部全面的人工智慧法規，而拜登政府也推出了一系列關於“負責任”人工智慧的倡議 – 連人工智慧從業者自己也在關注這個問題。

廣義而言，當今對於人工智慧危險的觀點有兩種。第一種觀點 – 受到魏岑鮑姆的影響 – 著重於現有的風險。例如，語言學家艾米莉·M·本德爾等專家指出，像ChatGPT這樣的大型語言模型可能會重複傳遞落後的觀點，例如種族主義和性別歧視，因為它們是通過從互聯網中獲取的數據進行訓練的。她和她的合著者在一篇有影響力的2021年論文中寫道，這些模型應該被理解為一種“鸚鵡”，它們隨機地將它們在廣泛的訓練數據中觀察到的語言形式序列拼湊在一起，根據它們結合的概率信息。

第二種觀點更傾向於從推測的角度思考。它的支持者對於已經存在的危害不太感興趣，而是對於可能在未來出現的危害感興趣 – 特別是人工智慧成為“超級智能”並消滅人類的“存在風險”。在這裡，主導的隱喻不是鸚鵡，而是Terminator電影中的種族滅絕計算機系統Skynet。這一觀點得到了幾位科技億萬富翁的熱烈支持，包括伊隆·馬斯克，他們資助了一個相同思維的智庫、獎學金和研究項目的網絡。這也引起了第一種觀點的成員的批評，他們觀察到這種末日預言對於該行業是有用的，因為它轉移了人們對其產品目前負責的真正問題的注意力。如果你“將一切都投射到遙遠的未來”，梅雷迪斯·惠特克指出，你會讓“現狀不受觸動”。

魏岑鮑姆一直關注關於計算機的幻想如何服務於強大利益的方式，他可能會同意這一點。但是，仍然有一種與他自己的存在風險思維有些重疊的思維線索：將人工智慧視為外星人的想法。哲學家尼克·博斯特羅姆主張，“超級智能機器對於人類來說就像人類思維對於蟑螂來說一樣陌生”，而作家埃利澤爾·尤德科夫斯基將先進的人工智慧比作“一個完整的外星文明”。

Weizenbaum會補充以下警告：即使沒有“超智能”，AI已經是外來的。人類和計算機屬於不同且無法比較的領域。通過“AI對齊”，即一套將AI與人類目標和價值“對齊”以防止其成為Skynet的做法，也無法縮小它們之間的距離，正如存在風險的人群所希望的那樣。對於Weizenbaum來說，我們無法使AI變得人性化，因為AI是不可化約的非人類。然而，您可以做的是不要讓計算機做（或意味著）太多。他在《計算機力量與人類理性》中寫道，我們永遠不應該“用計算機系統替代涉及人際尊重、理解和愛的人類功能”。與計算機和睦相處意味著將它們放在適當的位置上：作為計算的助手，而不是判斷的依據。

Weizenbaum從未排除智能有朝一日可能在計算機中發展的可能性。但他在1991年告訴作家丹尼爾·克雷維爾時表示，如果真的發展出智能，它將“至少與海豚的智能與人類的智能一樣不同”。這裡隱藏著一個可能的未來，既不是充滿種族主義鸚鵡的迴聲室，也不是好萊塢的Skynet末世。這是一個我們與AI建立關係的未來：尷尬地、跨越巨大距離，但具有一些有價值的時刻的潛力。海豚可能不會成為好法官，也不會成為可怕的心理醫生。但它們可能成為有趣的朋友。

※版權所有，歡迎媒體聯絡我們轉載；登錄本網按讚、留言、分享，皆可獲得 OCTOVERSE 點數（8-Coin），累積後可兌換獎品，相關辦法以官網公布為準※