::: {#ba40 .section .section .section—body .section—first .section—last} ::: section-divider
:::
::: section-content ::: {.section-inner .sectionLayout—insetColumn}
回顾人类未来研究所（Future of Humanity Institute） {#9e19 .graf .graf—h3 .graf—leading .graf—title name=“9e19”}
牛津大学这个有影响力的、饱受争议的研究中心的兴衰，它给我们带来了存在风险的概念。
2024年4月16日，人类未来研究所（Future of Humanity Institute，FHI）的网站被一个简单的着陆页和四段声明所取代。声明解释说，该研究所在运营了19年后已经关闭。它简要概述了研究所的历史，评估了其记录，并提到了来自牛津大学哲学系的”日益增加的行政阻力”，而研究所就设在那里。
因此，世界上最古怪、最有雄心的学术研究所之一就这样消失了。FHI的使命是研究人类的大局问题：**我们最严重的危险、我们潜在命运的范围、我们的未知未知。**它的研究人员是最早将超智能AI等概念引入学术期刊和畅销书榜单的人，也是最早在联合国等团体面前讨论这些问题的人。
对FHI的许多粉丝来说，它的关闭令人震惊。这个由多才多艺、古怪的学者组成的群体，在有远见的哲学家**尼克·博斯特罗姆（Nick Bostrom）**的带领下，开创了整个研究领域，向世界发出严重危险的警告，并做出了学术界最大胆的尝试，以预见遥远的未来。但并非所有人都同意它的预测。在内部人士中，该研究所被认为难以打交道 --- --- 也许是它自己的毁灭。事实上，FHI没有预见到的一件事，批评者调侃说，就是它自己的消亡。
为什么大学会关闭这样一个有影响力的研究所？而且，反过来看这个组织的前瞻性使命：我们 --- --- 以及我们的后代 --- --- 应该如何回顾FHI？对于一个旨在寻找答案的研究所来说，FHI给好奇者留下了很多问题。
1989年，一个名叫尼克拉斯·博斯特罗姆（Niklas Boström）的17岁瑞典少年（他后来将名字英化为尼克·博斯特罗姆[Nick Bostrom]）借了一本19世纪德国哲学的图书馆书籍，把它带到了一个他最喜欢的森林空地，并体验了《纽约客》后来描述的**“对学习和成就可能性的狂喜洞见”**。顿悟时刻通常不是人们决定成为学者的方式，但从那天起，博斯特罗姆就将他的生命献给了密集的学习。他从学校退学以便在家参加考试，并且他广泛而狂热地阅读。在哥德堡大学，他获得了哲学、数学、数理逻辑和人工智能的学士学位。之后，他攻读了哲学、物理和计算神经科学的研究生学位。在他仅有的空闲时间里，博斯特罗姆通过电子邮件联系并会见了志同道合的超人类主义者：那些热衷于根本改善人类生物学和寿命的人。
早在2001年，他就在研究被称为”存在风险”（existential risks）的鲜为人知的现象，写道纳米技术和机器智能有一天可能会干扰我们物种向超人类未来的上升。同样在2001年，他提出了”模拟假说”（simulation hypothesis），在《哲学季刊》（Philosophical Quarterly）中提出了我们可能生活在一个由人类超智能后代运行的计算机模拟中的理论。到这个时候，博斯特罗姆已经作为哲学系的博士后研究员来到牛津。
几年后，这个系将成为他的心头恨。但正是博斯特罗姆在其中的成员身份，使他遇到了一个改变他生活的幸运转折。在21世纪初的某个时候，博斯特罗姆遇到了IT企业家詹姆斯·马丁（James Martin）。马丁成为了一个有先见之明的未来主义者，并在2006年制作了一部以博斯特罗姆为特色的纪录片。但马丁也正在成为一个财力雄厚的慈善家。通过另一位对人类增强感兴趣的年轻哲学家朱利安·萨乌尔斯库（Julian Savulescu），博斯特罗姆得知马丁计划资助牛津大学面向未来的研究。希望这可以包括他感兴趣的工作，博斯特罗姆向大学的发展办公室提出了他的情况。
二十年后，细节变得模糊。FHI的传说中提到，在牛津大学为其最大的捐赠者举办的一次晚宴上，博斯特罗姆坐在马丁旁边，为我们现在所说的”书呆子狙击”（a nerdsnipe）创造了完美的条件。后来，在2005年，马丁做出了当时牛津大学九百年历史上最大的捐赠，总额超过7000万英镑。其中一小部分资金被博斯特罗姆决定用来成立未来人类研究所。“这是一个小空间，“博斯特罗姆告诉我，“可以全职专注于这些大局问题。”
那笔种子资金足以资助几个人三年。因为他的团队将会很小，而且它的任务非常非传统，博斯特罗姆需要找到多学科的人才。他告诉我，他正在寻找”尤其是脑力，然后还有在还没有非常清晰的研究方法或范式领域工作的意愿和能力。“成为一个博学者也会有所帮助。
他最早的雇员之一是安德斯·桑德伯格（Anders Sandberg）。桑德伯格不仅是瑞典同胞，还是博斯特罗姆在90年代加入的在线超人类主义者社区Extropians的成员。博斯特罗姆通常非常严肃，而桑德伯格则充满活力和幽默感。（他曾经写过一篇论文，概述了如果地球变成一大堆蓝莓会发生什么）。但两人性格上的差异掩盖了他们在观点上的相似之处。桑德伯格也是一个非传统的思想家，对超人类主义和人工智能感兴趣。（桑德伯格特别对全脑仿真的理论实践感兴趣，即把人脑上传到数字基质上。）
桑德伯格在哲学系以哲学家**吉尔伯特·赖尔（Gilbert Ryle）**命名的赖尔房间里接受了面试。他向评估他的教职员工解释了一些神经科学知识，并传达了他在另一个鲜为人知的人类努力领域：网页设计方面的才能。他被录用了，并在2006年1月回到FHI工作，并在德里克家得到了一个”可笑的小房间”作为办公地点。
桑德伯格和博斯特罗姆一起住在**德里克·帕菲特（Derek Parfit）的家中，帕菲特是一个头发蓬乱的隐士，也是现代最有影响力的道德哲学家之一。博斯特罗姆拥有主卧室，并向轮流更换的房客收取租金。桑德伯格回忆说，帕菲特睡在一个”小隔间”般的卧室里，并且会在不寻常的时间在卧室和他位于万灵学院（All Souls）**的办公室之间穿梭，万灵学院是一个高度选择性的研究生学院，即使在牛津大学中也被视为精英。
包括桑德伯格在内，博斯特罗姆雇佣了三名研究员，并开始塑造一个研究议程，这些议程在早期主要关注人类增强的伦理问题。一个由欧盟资助的关于认知增强的项目是FHI在这一时期的主要焦点之一。该研究所还组织了一个研讨会，最终形成了桑德伯格和博斯特罗姆关于实现全脑仿真可行性的有影响力的路线图。
与此同时，FHI的工作人员开始发表关于人类面临的最严重危险的工作，这个话题当时还未成为一个成熟的学术学科。一个FHI的研讨会汇集了像**埃利泽·尤德考斯基（Eliezer Yudkowsky）**这样的不同思想家，他后来成为了最杰出的对超智能AI感到担忧的理论家之一。博斯特罗姆共同编辑了2008年出版的《全球灾难性风险》（Global Catastrophic Risk）一书，这是一本关于小行星撞击、核战争和高级纳米技术等威胁的论文集。
但这并不是一份特别优厚的工作。那些为FHI工作的人不得不接受临时合同和一个丑陋的办公楼，小门楼，它与附近美丽的四合院几乎没有相似之处。（偶尔来访的Jaan Tallinn据说曾开玩笑说，办公室的无窗设计是为了减少人类后代模拟FHI所需的处理能力。）作为对员工忍耐的回报，博斯特罗姆试图为他们提供一个外壳，使他们免受许多学术生活中更耗精力的日常需求的影响。没有教学要求，而且随着时间的推移，通过传统学术方式发表的压力也在减少。向我解释这种精神时，博斯特罗姆将他的员工比作如此璀璨的宝石，以至于珠宝商会想要为他们定制铸造。他想要”挑选这些宝石，然后围绕他们创造一种组织装置，让他们以最少的干扰发光发热，做他们的事情。”
在外壳之外，世界正在变化。那是2010年代初，当时被称为”人工智能寒冬”的领域萧条期正在缓解。FHI的员工，特别是博斯特罗姆，开始花更多时间考虑时代技术进步可能带来的风险和机遇。博斯特罗姆开始写一本关于灾难性风险的书，人类增强的工作基本上停止了。“这是FHI相当典型的做法，“桑德伯格在他对FHI的回顾中写道。该研究所的行动方式是找到一个值得研究的被忽视的主题，然后在受保护的FHI温室中”培育它，展示可以取得进展；凝聚一个领域并设定研究方向；吸引聪明人加入；一旦它足够成熟，就让它自由发展，然后转向下一个幼苗。”
人工智能的风险和治理尤其迅速地扩展开来 --- --- 随着它们的发展，FHI本身也是如此。其高级员工不仅包括桑德伯格，还有托比·奥德（Toby Ord），他是一位转行成为哲学家的计算机科学家。奥德是有效利他主义运动（Effective Altruism）的关键人物之一，该运动试图量化利他主义的努力并最大化它们。他承诺放弃除了适度津贴之外的所有收入，并共同创立了一个慈善机构”我们能给予什么”，其成员承诺将收入的10%捐给他们认为有效的慈善机构。另一位高级研究员是埃里克·德雷克斯勒（Eric Drexler），他是一位工程师和未来学家，被称为《连线》杂志中的”纳米技术无可争议的教父”。
他们与桑德伯格一起，帮助设定了研究所的基调：多样化、好奇，并且在追求其他学者不愿触及的问题时毫不掩饰地充满活力。然而，即使在这个有才华的团队中，博斯特罗姆也深受尊敬。一位前同事说：“从外部看，我看不出尼克和其他研究人员之间的区别。只有当你看到他们在讨论时，你才会看到。哦，我的上帝…智力的长尾效应确实很长。”
在2010年代初，FHI搬到了利特尔盖特楼内更大的一套房间的楼下。原来的办公室有白板，但桑德伯格坚持要更多，所以新办公室有一个由白板环绕的中央房间。这里被称为”白板全景监狱”（whiteboard panopticon）。在这里，FHI的工作人员会勾勒出想法，从可能的人工智能安全解决方案（一位研究人员在错误地认为自己解决了问题时短暂地感到欣喜）；到预测星际战争将涉及什么；到考虑在一个拥有超过一个时间维度的世界中音乐会是什么样子。在另一个白板上，博斯特罗姆为FHI维护了一个得分卡。由于博斯特罗姆经常在夜间工作，这个数字会在其他人不在场时更新。随着时间的推移，这个数字逐渐上升，尽管在遇到”挫折”时会下降。博斯特罗姆有时会展现出一种干巴巴的幽默感，他告诉我，这个度量的精确工作原理是”笼罩在神秘之中”。
从2014年开始，人们想象这个数字频繁上升。FHI（未来人类研究所）崛起为显赫机构的一个关键因素是它早期决定将更多的智力精力投入到人工智能风险中。博斯特罗姆关于灾难性风险的书中有一个特别的章节，可以说，它自己形成了一种思维，成为了项目的唯一焦点。由此产生的书，即畅销书《超级智能》（Superintelligence），警告人类，创造超级智能AI可能是我们最后的行动 --- --- 无论是好是坏。部分得益于博斯特罗姆讲故事的技巧 --- --- 他也是2003年给我们讲述回形针最大化器寓言的人 --- --- 这本书取得了巨大的成功。埃隆·马斯克，很快将成为FHI的捐赠者，公开赞扬了这本书，比尔·盖茨也是如此。（马斯克的捐赠是AI安全工作的第一笔主要资金，尽管他的热情后来成为FHI的声誉风险。）
据说帕菲特（Parfit）将这本书视为”重要作品”，而当时29岁刚被任命为Y-Combinator负责人的山姆·奥特曼写道，《超级智能》是他在AI风险方面看到的”最好的东西”。2015年10月，博斯特罗姆向联合国委员会简要介绍了未来技术带来的危险。
小门屋（Littlegate House）现在感觉像是世界上最明亮的智力场景之一。关于AI的工作不仅仅是空谈：FHI的研究人员是最早从事AI对齐问题的实证研究，而不仅仅是理论研究的人。在FHI工作一段时间后，简·莱克（Jan Leike）帮助创造了我们现在所知的从人类反馈中学习的强化学习方法，这种方法今天支撑着每一个主要的大型语言模型。（莱克曾是OpenAI的对齐负责人，现在在Anthropic。）在两位研究学者的帮助下，对齐专家欧文·埃文斯（Owain Evans）帮助创造了一个至今仍被主要开发者使用的AI真实性的重要基准。而卡佳·格雷斯（Katja Grace），与埃文斯等人一起，开始了后来成为AI影响的项目。（AI影响收集并综合专家对我们能从AI发展中期待什么的观点，为决策者提供有用的数据。）
到了2010年代中期，FHI不仅吸引了像Demis Hassibis（DeepMind的联合创始人）和Vitalik Buterin（以太币的发明者）这样的科技巨头的访问，还吸引了主流媒体的关注。Bostrom被《纽约客》的Raffi Khatchadourian以花环装饰，他发现FHI办公室是”一部分物理实验室，一部分大学宿舍”，注意到了电影《美丽新世界》和在《2001：太空漫游》中叛变的计算机HAL 9000的海报。那里有分体键盘、自制键盘、德沃夏克键盘。家具里嵌着松动的Nerf枪弹，这是斯图尔特·阿姆斯特朗（Stuart Armstrong，一位AI安全专家）的小女儿有一天寻找她父亲同事时留下的遗迹。
在FHI，Bostrom的游戏一面不太明显。下午到达FHI后，Bostrom会工作到凌晨。但首先，你可以在厨房看到他，他会在那里制作他自嘲地称之为”灵丹妙药”的蔬菜汁。这通常是员工在他消失进办公室之前打扰他的唯一时间。知道Bostrom喜欢深入集中思考的殿堂，员工很少打扰他。Tanya Singh在FHI工作了五年，担任过几个高级运营职位，以及Bostrom的执行助理，她说她只敲过他的门七、八次。
在极少数她进入他明亮的房间的情况下，她会看到Bostrom几乎完美地坐着思考。“在那静止中有一种明显的强度，“她说。“我从未见过这样的事情。你可以在他旁边扔东西 --- --- 炸弹爆炸 --- --- 他也不会动，他根本不会注意到。“Bostrom保护自己不受打扰地坐着思考的自由，就像他保护员工的自由一样。这是一个壳中的壳。据所有报道，他很少花时间维护与哲学系的关系。
有一段时间，这似乎并不重要。FHI的工作对外界变得更加相关，即使在牛津内部并没有得到太多赏识。2020年3月，Ord出版了《The Precipice》，这本书为大众读者考察了人类面临的生存威胁。书中考察了气候变化、人工智能以及FHI越来越感兴趣的另一个领域：人为制造的大流行病。不久之后，FHI的生物威胁团队开始关注武汉的一场流行病，世界大部分地区陷入了首次COVID封锁。如果这是一种证明，那也是残酷的证明。
慈善资助者对这项以及其他关于灾难性风险的工作表示赞赏。得益于这些资助者的慷慨，研究所正在扩张。它的行政工作由本可以赚取巨额企业薪酬或在其他研究所从事高地位研究工作的聪明年轻人承担。由数学家Owen Cotton-Barratt领导的研究学者计划，是年轻人才的旋转门。其他的入口包括DPhil奖学金和本科生的暑期项目。“桌子被巧妙地塞进每一个可以想象的地方，“桑德伯格写道。无论转向哪里，都有被书呆子狙击的危险 --- --- 这对普通公众来说也是如此。多名员工被邀请向英国议会展示他们的工作；托比·奥德很快将在鲍里斯·约翰逊，当时的英国首相，于2021年在联合国大会上发表的讲话中被引用。
但恰如其分的是，墙上已经有了文字。在2020年末，令FHI震惊的是，大学冻结了其招聘能力。没有新员工，没有新的研究学者。这是我与每位前FHI员工交谈时他们认为旨在扼杀他们工作的几项措施之一，包括筹款冻结。
如果这是官僚的敌意，正如FHI所相信的那样，它从何而来？FHI的工作人员，就他们而言，经常对成为大学成员所带来的延误和文书工作表示沮丧。在他们的挫败中，他们开发了一个单位，“牛津”（the Oxford），作为阅读和撰写308封电子邮件的工作量的代名词 --- --- 这是FHI获得一小笔拨款发放到其账户的实际行政工作量。
博斯特罗姆想要快速招聘人员，与行业和非营利组织合作，并且举办会议，而不必通过大学的官僚机构来处理这些事务。但根据博斯特罗姆的描述，哲学系”有着非常不同的文化心态”。他对招聘的态度，正如博斯特罗姆所看到的，植根于一种教授相同哲学 --- --- 亚里士多德、柏拉图等人 --- --- 几个世纪的文化。“‘我们有这个人应该教授古代哲学，‘“他说，近似地描述了学院的观点，“‘然后当他们40年后退休时，我们会再招聘另一个人来教授古代哲学’…而我们的研究议程则设计得非常灵活。”
对于那些认真对待博斯特罗姆”天文浪费”论点的人来说，效率低下可以被视为一种深刻的错误。（在同名的论文中，博斯特罗姆认为未来可能包含如此深刻的幸福量，以至于任何延迟都构成了价值的损失 --- --- 换句话说，就是天文规模的浪费 --- --- “令人难以置信”。）然而，大学并没有那种紧迫感。对他们来说，FHI与其说是官僚主义的受害者，不如说是官僚主义的罪人。FHI似乎有着难以打交道的名声，而且 --- --- 取决于你问谁 --- --- 有着认为自己高于大学官僚主义琐碎要求的管理。“在我的时间里，“前FHI成员**肖恩·奥黑加塔（Seán Ó hÉigeartaigh）**在EA论坛上写道，“FHI因不合作而不断产生高额成本。“它的过失虽小，却激怒了大学。工作人员因使用Gmail而非Outlook、未经风险评估就旅行等行为而受到批评。我听说了一个代表性事件，FHI为一位客人购买了SIM卡，希望使客人在英国的停留更加顺利。FHI未能随后取消该卡，导致进一步的月度费用。学院发现自己不得不支付账单，并对FHI的粗心大意持负面看法。这两个机构的配对越来越笨拙：FHI已经变得比容纳它的机构更大，吸引了更多的关注和资金，并且雇佣的非哲学家比哲学家多得多。总之，学院似乎并不特别喜欢这个研究所。“我得到的印象，“来自不同部门的一位学者报告说，“是哲学家们” --- --- 即学院内的人 --- --- “对它没有太多尊重。”
从根本上看，这些组织评估工作价值的方式似乎存在不匹配。“哲学系的货币是发表在知名期刊上的同行评审论文，这些论文被广泛引用，“2015年至2017年担任FHI副主任的**尼尔·鲍尔曼（Niel Bowerman）**说。“那不是FHI的货币。FHI的货币是能够改善世界的酷炫想法。“随着FHI变得更加高调并开始以更少的义务吸引资金，这种不匹配只会增加。
多位FHI员工告诉我，2018年新系主任**克里斯·廷普森（Chris Timpson）**到来后，关系恶化了。（我请求廷普森接受采访，但他选择不发表评论）。当我向大学提出一系列详细问题时，我得到的是它在FHI关闭时发布的同样含糊的声明。博斯特罗姆不想对个人发表评论，但告诉我他希望在2019年或2020年”拔掉”FHI的插头，当时有”更多的规则，规定的限制，新程序，一切都是为了给齿轮里撒沙子。”
在FHI员工看来，永恒的官僚僵局正在产生真正的后果 --- --- 不仅仅是在遥远的天文荒漠意义上。**简·库尔维特（Jan Kulveit）**在2018年至2023年间在FHI工作，他领导了一个在病毒第一波期间的COVID-19预测项目。他想扩大项目，为全世界提供中期预测，警告可能的第二波。该项目获得了慈善资助，但结果发现，大学接受这笔赠款在官僚程序上过于困难，尤其是因为这笔资金将用于雇佣外部软件工程师。项目扩展没有发生。
情况继续恶化。FHI请求其最大的捐赠者，开放慈善基金会（Open Philanthropy），向大学的副校长提出FHI应拥有更多自主权。FHI的工作人员告诉我，这在牛津并不受欢迎。在FHI内部，对大学有很多不满，但对博斯特罗姆也有不满。2021年8月，研究学者计划的设计师欧文·科顿-巴雷特（Owen Cotton-Barratt）离开了FHI。在他的辞职信中，他向博斯特罗姆表达了敬意，并与FHI的工作人员和一些研究所的盟友分享了这封信，科顿-巴雷特赞扬了博斯特罗姆的智力领导，但批评了他的管理。
在我的请求下，科顿-巴雷特向我展示了这封信。信的语气温和而和解，但其内容是严肃的。科顿-巴雷特写道，博斯特罗姆是一个糟糕的授权者，不愿意投资与员工的沟通。根据科顿-巴雷特的说法，博斯特罗姆将自己的研究置于FHI与大学的关系之上，研究所因此受到了影响。令FHI工作人员失望的是，这封信最终传到了哲学系。（这不是科顿-巴雷特所为。）回顾这封信，科顿-巴雷特在2024年告诉我：“我认为尼克在建立FHI方面做得很棒，世界失去了一个特别的地方。我写那封信是希望它能帮助FHI向最好的自己迭代。“博斯特罗姆认为这封信是出于好意，但”有点令人尴尬。“他说，这源于一种极端开放的有效利他主义文化，但它”让我们在行政上倒退了大约一年。”
在疫情最严重的时期过后，FHI的工作人员重新聚集在新的地点。研究所的家现在变成了位于牛津郊区的图拉真大厦（Trajan House）。FHI将与有效利他主义中心和类似理念的非营利组织共享这座建筑。冰箱里有Huel奶昔，还有一个小睡室，但像FHI员工这样的大学员工被禁止使用。一位前CEA员工告诉我，尽管有效利他主义可能是”过去100年来应用哲学中最大的成功故事之一”，但大学和哲学系很少表现出对有效利他主义的兴趣或自豪感。在这位员工看来，大学似乎”有一种奇怪的敌意，似乎是由个人恩怨驱动的。”
FHI搬到EA总部可能对其与大学的关系没有帮助，但在知识层面上是有意义的。当Ord帮助创立了我们现在所知的EA时，它的关注点是发展中国家的贫困问题。随着人工智能等技术的进步，EA像Ord一样，接受了我们这个时代的关键道德优先事项是保护和改善长期未来的观点。这种思想流派，即长期主义，得益于帕菲特、哲学家和经济学家约翰·布鲁姆以及博斯特罗姆的工作。它的核心任务是减少存在风险。
遗憾的是，再也没有白板全景监狱（ whiteboard panopticon）了，新办公室里堆满了几个月未开封的纸箱，并不比之前的办公室宽敞多少。高级员工出现在现场的频率比以往少了，而且时不时通过协商解冻的招聘冻结仍然在痛苦地限制着FHI。运营人员工作繁重。辛格有时一天工作22小时。她于2022年6月离开，那时研究所的员工人数已经下降到了和她2017年刚来时的相同数量。但山姆·班克曼-弗里德（Sam Bankman-Fried）的崛起，一个突然成为世界上最年轻亿万富翁的EA加密大亨，似乎是一个特别有希望的发展。
在一个疯狂的夏天，图拉真大厦（Trajan House）里的每个人，包括FHI的工作人员，似乎都在牛津和巴哈马之间来回奔波，那里的山姆·班克曼-弗里德正计划进行一系列长期主义慈善活动。“气氛相当乐观，“2019年加入FHI的人工智能研究员刘易斯·哈蒙德（Lewis Hammond）回忆道。显然，奥德是少数几个表现出不愿参与的人之一。然而，到了2022年10月，班克曼-弗里德的帝国崩溃了。数百万人被骗，班克曼-弗里德的欺骗行为玷污了他的盟友：EA、FHI以及与他们相关的许多个人。到现在，FHI的研讨会和沙龙也在逐渐减少。当**斯塔哈诺夫特·辛格（Stakhanovite Singh）**离开后，学院安排了一名兼职行政人员来填补她的一部分工作时间。“感觉FHI正在慢慢死去，“哈蒙德说。或者，正如辛格所说：“死于千刀万剐。”
死亡变得痛苦。2023年1月9日，桑德伯格在推特上发布了博斯特罗姆写的一份文件：“旧邮件的道歉”。一位从长期主义者转变为批评者的埃米尔·P·托雷斯（Émile P. Torres）发现了这封旧邮件。博斯特罗姆得知邮件即将发布，便自己发布了它，并附上了道歉，并通过桑德伯格传播了这份文件（博斯特罗姆不使用X/推特）。
这封电子邮件是在1996年发送给Extropians邮件列表的。在一场关于攻击性沟通风格的对话中，23岁的博斯特罗姆写道，他一直喜欢”毫不妥协的客观说话方式”。他写道，一个表述越是违反直觉和令人厌恶，就越吸引他，前提是它是正确的。作为一个例子，他写道”黑人比白人更愚蠢”，并评论说：“我喜欢那句话，并且认为它是正确的。“博斯特罗姆指出，这并不意味着他不喜欢黑人，认为他们应该受到不公平对待。他继续解释了他为什么相信这个说法是正确的。然而，他提出的那句话，他写道，大多数人会理解为”我讨厌那些该死的[N-word被编辑]！！！“。根据博斯特罗姆的说法，他在发送邮件后的24小时内就为此道歉了。
在他的道歉中，博斯特罗姆写道：“我完全拒绝这封令人厌恶的电子邮件。“在解释他的观点时，他说”由于教育、营养和基本医疗保健的不平等获取导致社会结果的不平等，有时包括技能和认知能力的差异，这是非常不公平的。“他写道，不同群体之间在认知能力上是否存在遗传或表观遗传的贡献，并不是他的专长领域。托雷斯和其他批评者将这封邮件和道歉作为长期主义是由优生学驱动的证据。
大学在调查博斯特罗姆的同时暂停了他的职务。一些FHI的员工和外界人士不赞成道歉。一位FHI的校友告诉我，这很”不敏感”，而且整个争议 --- --- 包括最初的电子邮件和对道歉的辩论 --- --- 进一步损害了FHI的声誉。与此同时，博斯特罗姆被禁止在停职期间与同事联系，或做任何与FHI相关的工作。到现在，FHI的存在显然变得脆弱。博斯特罗姆的员工希望从大学那里得到明确答复，但我被告知，大学拒绝与他们交谈。这是因为这是院长的事情 --- --- 而大学已经将他流放。“与普遍看法相反，“一位前FHI员工说，“尼克是一个非常严格遵守规则的人。”
然而，调查结果对博斯特罗姆有利。“我们不认为你是种族主义者，也不认为你持有种族主义观点，“2023年8月，大学代表告诉博斯特罗姆，“我们认为你在2023年1月发布的道歉是真诚的。“他恢复了官方职责。
在整个时期，FHI的高级员工试图找到挽救研究所的方法。他们讨论了博斯特罗姆保留研究所研究主任职位，同时将管理权交给CEO的想法。他们考虑成为大学一个组成学院的一部分，或者完全从大学分离出去。他们甚至与物理系讨论了跨部门转移。然而，这些计划都没有实现。员工重视他们与牛津大学的联系，使他们不愿离开大学。至于跨部门转移，FHI员工怀疑这个计划被哲学系破坏了。
“我们在这个奇怪的边缘地带待了很长时间，“哈蒙德说。但在2024年3月的一天，当他在特拉杨大厦时，一名大学IT工作人员打断了他桌前的工作。“FHI要关闭了，“他被告知。“你得把那台电脑还回去。“大学终于要动手了。2024年4月16日，FHI被关闭。
博斯特罗姆报告说，官方给出的原因是大学没有运营带宽来管理FHI。他告诉我，他询问了电子邮件事件是否与这个决定有关，大学说没有。牛津大学没有反驳这个说法。
哈蒙德说，总的来说，他对自己在FHI的时光心存感激。然而，它的关闭是他不太愿意回忆的记忆。“我甚至不惊讶是从IT人员那里听到这个消息，“哈蒙德说。“这非常象征性地反映了当时沟通和组织的方式。“他和他的同事们离开了大楼，大学工作人员禁止特拉杨大厦的其他居民使用空房间。与此同时，博斯特罗姆在国外，在阿尔卑斯山的小屋里写一本新书。他后来告诉我，FHI的最终消亡让他松了一口气。“我想象着学院会让我们慢慢流血至死，“他说。在消化了这个消息后，博斯特罗姆回到了工作。
回到牛津，托比·奥德组织了一次酒吧之旅，员工们现在称之为FHI的”守夜”。剩下的员工和一些研究所的朋友在冬青树酒吧聚集，以纪念FHI近19年生命的结束。奥德发表了悼词。他说，FHI的死亡是”过度决定的”，但它远远超过了最初资助的三年期限。该研究所取得了很多成就，它的后代活得很好。奥德总结说，也许没有什么能取代FHI这样的组织，但也许那没关系。守夜之后，他更新了FHI的网站，发布了宣布其关闭的声明。
--- --- ---
FHI已经不复存在，但它留下了许多遗产。例如，治理人工智能中心就是直接从FHI中分离出来的。现在有许多组织在探索存在风险，这些组织在某种程度上都受到了博斯特罗姆及其工作的影响。FHI帮助塑造了政府的生物安全政策；它在人工智能安全方面做了基础性工作；它培养了一代研究人员和领导者，现在他们在领先的商业实验室、智库和相关政府机构工作。在FHI的末期，它开始研究数字意识的性质和权利。
该研究所在哲学上极为多产。在其回顾中，曾在FHI担任研究学者的芬·穆尔豪斯列举了一些至少部分由该研究所工作人员负责的洞见和概念：信息风险、存在希望、单边主义者的诅咒、一个大胆的尝试来解决费米悖论，等等。对于一个由超人类主义者创立的研究所来说，FHI正在经历许多次的”重生”。
它的员工呢？牛津的”行政逆风”吹倒了FHI，也分散了使FHI声名鹊起的研究团队。斯图尔特·阿姆斯特朗（Stuart Armstrong）是一家初创公司的联合创始人和首席数学家，该公司试图开发基本安全的人工智能。埃里克·德雷克斯勒（Eric Drexler）继续从事人工智能治理和战略工作。奥德在牛津马丁学院从事人工智能治理工作 --- --- 这是詹姆斯·马丁慈善事业的另一个产物。安德斯·桑德伯格（Anders Sandberg）即将出版《宏伟的未来》（Grand Futures），这是一部据说非常庞大的著作，他将在其中描绘先进文明能够实现的物理极限，并加入了新成立的米米尔长期未来研究中心（Mimir Center for Long Term Futures Research）。
2024年我与博斯特罗姆交谈时，他正在为自己的新书《深度乌托邦》（Deep Utopia）进行宣传。在这本书中，博斯特罗姆考虑了一个超级智能AI发展顺利的世界。他告诉我，一些观察家假设这意味着他对人类生存和繁荣的前景感到更加乐观。可惜并非如此。“我们现在可以更清晰地看到这个问题，“博斯特罗姆说，“但我的想法并没有根本性的转变。“他提到，当他写《超级智能》时，似乎迫切需要探索高级AI的风险，并促进可能解决这些风险的工作。“似乎没有那么迫切需要发展一个非常详细的积极前景图景。现在似乎是时候填补地图的另一部分了。”
别指望在高尔夫球场上看到博斯特罗姆。他离开自己研究领域的可能性不大。但《深度乌托邦》很可能是他的最后一本书；这些书需要数年时间来写，博斯特罗姆认为对于我们当前的历史时刻来说，更短的项目更合适。通用人工智能即将到来，时间紧迫。
Looking Back at the Future of Humanity Institute{.markup—anchor .markup—p-anchor data-href=“https://asteriskmag.com/issues/08/looking-back-at-the-future-of-humanity-institute” rel=“noopener” target=“_blank”} ::: ::: :::