張瑞雄 /台北商業大學榮譽講座教授
教宗良十四世結束法國訪問返抵羅馬途中，把矛頭指向AI產業。他認為，許多專家擔心AI失控甚至危及人類，不能輕率當成危言聳聽，更點名輝達執行長黃仁勳，質疑他既談AI安全防護，又反對政府對AI設下太多限制。幾天前，黃仁勳才公開表示，2030年AI毀滅世界的機率是0%，甚至認為部分科技公司高喊AI危險，可能是在替自己卸責。
黃仁勳並非主張AI可以毫無約束，他的論點比較接近另一條路線，AI出了事情，就用現有的刑法、民法、產品責任、資安、隱私與契約制度處理，不必因為有人預測AI可能毀滅人類，就先建立一套龐大的新管制制度。人類對AI未來能力的預測誤差很大，今天為尚未出現的技術寫下太細的規則，幾年後很可能變成阻礙創新的舊法規。
誰來踩煞車
教宗擔心的卻是另一件事，AI公司今天擁有的已經不只是產品，它們掌握模型、資料、算力和平台，也決定系統能做什麼、不能做什麼，政府與一般民眾甚至不知道模型內部究竟發生什麼事。如果最後連安全界線都交給科技公司自己決定，等於讓製造風險的人同時負責判斷風險有多大。
最近的發展也讓這場爭論更加微妙，輝達推出OpenShell安全平台，目的就是限制AI代理可以存取哪些檔案、網路與工具，發現越權行動時還能立即阻止。這至少證明一件事，AI代理會不會做出開發者沒有預期的行為，已經不是哲學家的想像，而是工程師正在處理的技術課題。
既然需要做安全平台，就表示風險存在。既然風險存在，接下來只剩一個爭議，誰有資格決定安全做到什麼程度？如何管理？
黃仁勳會說，懂技術的人最知道怎麼管。政府可能會說，企業有營收與競爭壓力，不能自己說安全就算安全。教宗則從人的尊嚴出發，提醒大家科技進步不能凌駕人的選擇與責任。三種立場都有理由，卻也都有自己的盲點。
公司會自律嗎
科技業最難說服人的地方，就在利益衝突。今天OpenAI、Google、Anthropic、Meta、輝達都知道AI有風險，也投入大量資源研究安全，可是在高度商業競爭之下，誰敢真的停下來？
要求企業完全靠良心自律，本來就違反人性。食品公司不能自己決定產品安不安全，航空公司不能自己宣布飛機適航，銀行也不能自己決定資本準備多少。企業不是壞人，但只要事故的代價可能由全社會承擔，政府就要介入。
美國政府現在的思路是由科技公司承諾自我約束，政府盡量不要用繁複法規拖慢AI競爭。這對正在與中國爭奪AI領先地位的美國很有吸引力，但若最後只剩幾位科技巨頭在房間裡互相保證「我們會小心」，社會恐怕很難安心。
別爭世界末日
AI安全討論也不必每天圍繞「人類會不會滅亡」，這個題目太大，也太容易讓雙方各說各話。黃仁勳說2030年AI毀滅人類的機率是0%，相信的人會覺得他務實，不相信的人則會認為沒有人有資格替未來掛保證。
眼前已經有更迫切的事情需要處理，AI代理能不能擅自進入其他系統？醫療AI判斷錯誤由誰負責？自駕系統撞死人算誰的？AI協助設計生物武器要如何阻止？模型欺騙使用者時誰負責通報？軍事AI最後的攻擊決定能不能交給機器？這些都比爭論世界末日更迫切。
教宗提出的是科技社會最古老的一個問題，人創造了科學怪人後，還能不能控制科學怪人的行動？教宗最近談AI時，反覆強調人的尊嚴、責任與公共利益，並要求政治領袖、科技公司與社會共同參與治理，而非把決定權留給少數掌握技術的人。
黃仁勳說不能因為害怕AI，就把AI綁到動彈不得。醫療、教育、科學研究、製造業與公共服務，都可能因AI得到巨大好處。人類也從來沒有因為新科技存在風險，就停止發明。
但有一句話也應該送給所有AI公司的老闆，你可以告訴世界你的AI有多厲害，卻不能由你一個人決定它有多安全。因為AI一旦造成跨國、跨產業甚至無法挽回的傷害，最後承擔後果的是所有人。教宗給科技業的提醒，也就是我們大家的共同關心和擔心。
※以上言論不代表梅花媒體集團立場※