1990 年夏天，三辆卡车在东京及其周边地区的不同地点喷洒了黄色液体，其中包括两个美国海军基地、成田机场和皇宫。袭击者属于一个名为“奥姆真理教”的组织，该组织是一个日本邪教组织，旨在导致文明崩溃，为根据其宗教理想秩序的新社会的崛起腾出空间。五年后，奥姆真理教因在东京地铁发动沙林毒气袭击、造成 13 人死亡、数千人受伤而声名狼藉。
奥姆真理教原意是指 1990 年夏天散布的黄色液体含有肉毒杆菌毒素，这是人类已知的毒性最强的生物物质之一。然而，那年夏天的袭击事件中没有人死亡。他们失败的一个可能因素是奥姆真理教缺乏一项关键知识：传播肉毒杆菌 和传播其产生的高度致命的肉毒杆菌毒素之间的区别。目前尚不清楚奥姆真理教是否成功获得了这种细菌的产毒形式，而且奥姆真理教的攻击失败还有其他原因。
但如果奥姆真理教或类似的邪恶组织能够使用当代人工智能工具，可能就不会犯这个错误和其他错误。ChatGPT非常擅长回答问题和提供知识，包括肉毒杆菌毒素的生产方面的知识。如果奥姆真理教能够访问 ChatGPT，1990 年夏天的袭击是否会被视为历史上最严重的生物恐怖主义事件？
人工智能的进步具有对科学和健康产生积极影响的巨大潜力。ChatGPT 等工具正在彻底改变社会的工作和学习方式，而应用于生物学的人工智能解决了长达十年之久的蛋白质折叠问题，并正在改变药物发现。然而，随着人工智能提高了生物工程的上限并帮助将这些权力分配给大量个人，存在着严重的风险，即它将使奥姆真理教等居心不良的行为者产生潜在的破坏性影响。正如我在最近的预印本中讨论过的论文、ChatGPT 等大型语言模型（LLM）以及新颖的人工智能驱动的生物设计工具可能会显着增加生物武器和生物恐怖主义的风险。
人工智能语言模型如何成为生物武器的威胁倍增器
大型语言模型——非常擅长回答问题和教授军民两用知识——尤其可能会增加生物武器的可及性。在麻省理工学院最近的一次练习中，ChatGPT 只花了一个小时就向非科学家学生介绍了四种潜在的大流行病原体，包括那些缺乏在实验室中制造它们的技能的人如何获得它们的选项，以及如何避免通过从不筛选订单的提供商处获取遗传物质来进行检测。
同时，奥姆真理教对肉毒杆菌和肉毒杆菌毒素的区别缺乏了解的故事并不是一个孤立的例子。过去的生物武器计划经常因没有合适的人员以及所需的知识和专业知识来制造有效的生物武器而遇到瓶颈。基地组织对生物恐怖主义的探索是由拉乌夫·艾哈迈德领导的，他最初研究的是与粮食生产相关的微生物，因此试图快速了解炭疽和其他病原体。2001 年，拉乌夫利用他的科学资历在获取炭疽病方面取得了进展。目前尚不清楚他走了多远。同年12月他被捕。
尽管能够获得相关设备，萨达姆侯赛因领导下的伊拉克从未将其炭疽武器从威力较弱的液体形式转变为更危险的粉末形式，这种粉末形式可以以更高和更可预测的浓度储存和释放。这可能是因为科学家缺乏干燥和研磨炭疽的相关过程的知识。然而，随着聊天机器人变得越来越复杂，它们可能会无意中帮助具有恶意意图的个人提高有关使他们能够造成伤害的主题的技能。
但仅从人工智能实验室助理身上你能学到多少东西呢？毕竟，要制造病原体或生物武器，您不仅需要法学硕士可以提供的那种教学知识，还需要动手实践的隐性知识。隐性知识是指所有无法用语言表达、只能通过直接经验获得的知识。想想如何骑自行车，或者就此而言，如何进行分子生物学程序，这可能需要知道如何握住移液器、摇动烧瓶或处理细胞。很难定义这种隐性知识障碍的程度以及像 ChatGPT 这样的法学硕士可能对降低它有多大影响。然而，一个事实似乎很清楚：如果聊天机器人和人工智能实验室助理使生物制剂的创建和修改看起来更容易，那么很可能会有更多的人尝试他们的手。尝试的人越多，最终成功的人就越多。
此外，ChatGPT 只是语言模型和相关人工智能形式的开始。现在，语言模型正在彻底改变科学家指导实验室机器人执行哪些工作的方式。很快，人工智能系统将能够进行实验策略的构思和设计。因此，人工智能将促进并加速科学的自动化程度，减少推进大型项目所需的科学家数量。这将使秘密开发生物武器变得更加容易。
生物设计工具可以简化生物武器
虽然大型语言模型最终可能会突破生物设计能力的上限，但更专业的人工智能工具现在已经在这样做了。此类生物设计工具 (BDT) 包括AlphaFold2等蛋白质折叠模型和RFdiffusion等蛋白质设计工具。这些人工智能工具通常根据生物数据进行训练，例如基因序列。它们由许多不同的公司和学者开发，以帮助解决重要的生物设计挑战，例如开发治疗性抗体。随着生物设计工具变得更加强大，它们将带来许多有益的进步，例如基于新型蛋白质或设计病毒创建新药物。
但如此强大的设计能力也可能加剧生物风险。在极端情况下，生物设计工具可以设计出具有前所未有特性的生物制剂。据推测，自然病原体的特点是在传染性和致命性之间进行权衡。设计的病原体可能不具有这样的进化限制。像奥姆真理教这样的组织有可能创造出一种比自然界所能产生的任何病毒都要严重得多的大流行病毒，因此，生物设计工具可以将流行病从现在的灾难性风险转变为真正的生存威胁。生物设计工具还可以创建针对特定地区或人群的生物制剂。
在短期内，新的设计能力可能会挑战现有的控制危险毒素和病原体接触的措施。现有的安全措施往往侧重于危险生物的禁止清单或筛查已知的威胁基因序列。但设计工具可能会简单地生成具有类似危险特性的其他代理，而这些措施无法捕获这些代理。
好消息是，至少在最初阶段，生物设计工具带来的新的尖端可能性可能仍然只有数量可控制的现有专家才能使用，他们会将这些设施用于合法和有益的目的。然而，随着生物设计工具变得如此熟练，其输出几乎不需要额外的实验室测试，这种准入障碍将会下降。特别是，当人工智能语言模型学会与工具有效交互时。语言模型已经与专门的科学工具联系起来，以帮助完成特定任务，然后自动应用正确的工具来完成手头的任务。因此，生物设计的高度很快就会被很多人所利用，包括恶意的行为者。
为什么我们需要强制性基因合成规则
可以采取哪些措施来减轻人工智能和生物学交叉带来的风险？有两个重要的角度：加强一般生物安全措施和推进针对新人工智能系统的风险缓解方法。
面对日益强大和易于获得的生物设计能力，一项关键的生物安全措施是通用基因合成筛选。蛋白质或生物体的遗传构建模块的生产是将数字设计转化为物理代理的关键步骤。许多公司专门生产此类 DNA 或 RNA 构件。自 2010 年以来，美国政府建议此类基因合成公司筛选订单和客户，以确保只有合法的研究人员才能获取受控制剂的遗传材料。许多尖端基因合成公司自愿进行此类筛选，并成立了国际基因合成联盟协调这些活动。然而，相当多的基因合成提供商仍然没有进行筛选。事实上，正如麻省理工学院的演习所表明的那样，ChatGPT 非常善于指出这一事实，并就如何利用供应链安全中的此类弱点提供指导。
我们需要的是筛选合成 DNA 产品的强制性基线。要求这样的基线筛选并不违背公司的利益：美国和英国的行业领导者一直在自愿筛选订单，并积极呼吁建立监管基线，以防止竞争对手在安全方面吝啬。强制进行基因合成筛选的措施应采用越来越常见的台式基因合成设备，并且需要面向未来，包括筛选相关药物的功能等同物。数字到物理边界的其他关键服务提供商也需要类似的客户筛选基线，例如提供合成生物体服务的合同研究组织。
推进人工智能治理
除了一般的生物安全措施外，我们还需要针对人工智能的干预措施。第一个重点应该是减轻大型语言模型的风险，因为这些模型不仅可能已经降低了生物滥用的障碍，而且还因为它们的能力可能会快速且不可预测地增强。大型语言模型带来的所有风险都面临着一个关键挑战，即新的危险功能可能只有在模型发布后才会变得清晰。
对模型功能的预发布评估可能在减轻法学硕士风险方面发挥特别重要的作用。这种预先评估是必要的，以确保新模型在公开发布时不包含危险功能——如果由第三方进行，他们可以确保公司在培训和微调期间采取适当的步骤，以减少这些模型出现问题的可能性可能会导致生物滥用。通过结构化访问方法（例如Web ChatGPT界面）发布模型可以确保安全措施能够持续更新。相比之下，开源一个强大的法学硕士存在重大风险，因为微调和防护措施可能很容易被删除，并且如果发现新的危险功能，则不可能撤回模型或更新其防护措施。
一般来说，人工智能工具对生物滥用风险的潜在影响提出了一个深刻的问题：谁应该能够获得双重用途的科学能力？对于试图回答这个问题的政策制定者来说，考虑来自不同学科、人口和地域的不同声音至关重要。这将需要在与病原体相关的科学领域的开放性、非法活动数据流的执法和监测以及滥用风险的增加之间进行艰难的权衡。
一个明智的立场可能是，像 ChatGPT 这样的语言模型不需要向任何人提供详细的分步说明来创建危险的大流行性流感病毒。因此，如果此类模型的公共版本不详细回答有关此问题和其他双重用途主题的问题，那么总的来说可能会更可取。值得注意的是，Anthropic 最近发布的尖端语言模型Claude 2在向用户提供危险实验的详细说明方面比 GPT-4 具有明显更高的障碍。
与此同时，重要的是这些工具使科学家能够接受适当的培训并获得批准来开发新的药物和疫苗。因此，人工智能驱动的实验室助理和生物设计工具需要差异化的访问方法。这可能需要先进的方法让合法科学家在网上验证自己的身份。例如，为了获得预测流感病毒免疫逃逸变体的模型功能，从而为疫苗设计提供信息，科学家可能需要验证并提供适当的生物安全和双重用途审查文件。
除了加剧生物安全风险之外，人工智能的进步也带来了机遇。随着人工智能的进步刺激更严格的基因合成筛选，这将更广泛地加强生物安全。随着生物风险推动人工智能治理措施（例如大型语言模型的预发布评估），这将减轻更广泛的人工智能风险。政策制定者的迅速行动不仅可以提高安全性，还可以为获得人工智能的诸多好处铺平道路。
乔纳斯·桑德布林克 (Jonas Sandbrink) 是牛津大学的生物安全研究员。本文基于他最近发表的题为“人工智能和生物滥用：区分语言模型和生物设计工具的风险”的预印本。本文仅反映作者的观点，不代表作者所属组织的观点。
韭菜热线原创版权所有，发布者：风生水起，转载请注明出处：https://www.9crx.com/74993.html
