专家预测AI将导致人类灭绝

主要观点总结

近日，25名抗议者聚集在OpenAI总部前表达担忧，认为当前AI发展可能导致人类灭绝。AI领域的重量级人物也发表公开信，将AI灭绝风险与全球重大危机并列。不同人士给出了不同的AI导致人类灭绝的可能性预测，风险专家强调AGI到ASI的骤变可能带来的风险和挑战。

关键观点总结

关键观点1: 抗议者和专家对AI发展导致的潜在人类灭绝风险表示担忧

近日，25名抗议者聚集在OpenAI总部前，身着“Stop AI”T恤表达担忧。部分专家也赞同此观点，呼吁全球应对。公开信呼吁将AI灭绝风险与全球重大危机如核战争和全球流行病并列。

关键观点2: 不同人士对AI导致人类灭绝的可能性给出不同预测

Nate Soares预测如不改变当前路线，人类灭绝的可能性至少为95%，而Holly Elmore则给出更保守的15%至20%的灭绝可能性。谷歌CEO Sundar Pichai估计为10%。这些数字被称为AI社区内的“p(doom)”概率评估之一。

关键观点3: 风险专家强调AGI到ASI的骤变可能带来的风险和挑战

风险专家指出从通用人工智能（AGI）到超级智能（ASI）的跃迁可能带来不可预测的对抗性目标与价值错位。AI的“欺骗、规避、长期规划”能力使得“对齐问题”几乎无法彻底解决。

免责声明