人工智能会拯救人类——还是终结人类?

本周，四位著名技术专家和超人类主义者就建造通用人工智能(AGI)是拯救人类还是毁灭人类展开辩论，凸显了人工智能未来的严重分歧。

由非营利组织Humanity+主办的座谈会汇集了最直言不讳的AI"末日论者"之一Eliezer Yudkowsky——他呼吁停止先进AI的开发，以及哲学家和未来学家Max More、计算神经科学家Anders Sandberg和Humanity+荣誉主席Natasha Vita‑More。

他们的讨论揭示了在AGI是否能与人类生存保持一致，还是其创造会使灭绝不可避免的问题上存在根本分歧。

"黑箱"问题

Yudkowsky警告说，现代AI系统从根本上是不安全的，因为其内部决策过程无法被完全理解或控制。

"任何黑箱都可能最终面临与当前技术非常相似的问题，"Yudkowsky警告道。他认为，在能够安全地开发先进AI之前，人类需要"远远偏离当前的范式"。

通用人工智能是指一种能够在广泛任务中进行推理和学习的AI形式，而不是专门为文本、图像或视频生成等单一工作而构建的。AGI通常与技术奇点的概念相关联，因为达到这种智能水平可能使机器以超过人类追赶速度的方式自我改进。

Yudkowsky指出了哲学家Nick Bostrom推广的"回形针最大化器"类比来说明风险。这个思想实验设想了一个假设性AI，它将所有可用物质转化为回形针，以牺牲人类为代价来推进其对单一目标的执着。Yudkowsky表示，增加更多目标并不会有意义地提高安全性。

谈到他最近关于AI的书名"如果有人建造它，所有人都会死"时，他说："我们的标题不是说它可能会杀死你，"Yudkowsky说。"我们的标题是，如果有人建造它，所有人都会死。"

但More质疑极度谨慎能提供最安全结果的前提。他认为，AGI可能为人类提供克服衰老和疾病的最佳机会。

"对我来说最重要的是，AGI可以帮助我们防止每个因衰老而生活的人的灭绝，"More表示。"我们都在死亡。我们正一个接一个地走向灾难。"他警告说，过度克制可能会推动各国政府采取威权控制，作为阻止全球AI发展的唯一途径。

Sandberg将自己定位在两个阵营之间，形容自己"更为乐观"，同时比超人类主义乐观主义者更加谨慎。他讲述了一次个人经历，当时他差点使用大型语言模型来协助设计生物武器，他将这一事件描述为"可怕的"。

"我们正接近一个放大恶意行为者也会造成巨大混乱的时刻，"Sandberg说。尽管如此，他认为部分或"近似安全"是可以实现的。他反对安全必须完美才有意义的观点，建议人类至少可以在生存等最基本的共同价值观上达成一致。

"所以如果你要求完美的安全，你是得不到的。从这个角度来看，这听起来很糟糕，"他说。"另一方面，我认为我们实际上可以拥有近似的安全。这就足够了。"

对对齐的怀疑

Vita-More批评了更广泛的对齐辩论本身，认为这个概念假设了一种即使在长期合作者之间也不存在的共识水平。

"对齐的概念是一个盲目乐观的计划，"她说。"它永远不会对齐。我的意思是，即使在这里，我们都是好人。我们彼此认识了几十年，但我们并没有对齐。"

她将Yudkowsky关于AGI不可避免地会杀死所有人的主张描述为"绝对主义思维"，没有为其他结果留下空间。

"我对所有人都会死这个笼统的陈述有意见，"她说。"作为一个未来学家和务实的思考者来看待这个问题，它没有留下任何后果、任何替代方案、任何其他情景。这只是一个生硬的断言，我想知道它是否反映了某种绝对主义思维。"

讨论包括关于人类与机器之间更紧密的整合是否可以减轻AGI带来的风险的辩论——这是Tesla首席执行官Elon Musk过去曾提出的观点。Yudkowsky否定了与AI合并的想法，将其比作"试图与你的烤面包机合并"。

Sandberg和Vita-More认为，随着AI系统变得更强大，人类将需要与它们更紧密地整合或合并，以更好地应对后AGI世界。

"整个讨论是对我们作为人类的现实检验，"Vita-More说。