刺鸟图文助手
美国时间周二版open a i的董事会风波又又又又发生了反转，那么最终呢sam altman是回归open a i担任c e o。董事会全部重组。那么三名初步董事会成员呢就包括了south force的前联合首席官bret taylor，还有呢美国前财政部部长larry summers，以及呢quora的创始人adam the angel是留在了董事会。那我相信啊这个闹剧在之后几天还会有更多的细节和消息流出。但是目前来看，事态呢应该不会再有太大的反转了，希望如此。
那么在连续四天的各种反转之后呢，open a i这家a i技术最重要的公司呢终于暂时稳定了下来。但是在这个各方皆大欢喜的时刻，我们希望冷静下来回顾一下这场罢免风波中的一个非常重要的声音以及人物。就是这次风口浪尖上的叛变者，open a i的手机科学家，技术灵魂人物伊利亚苏斯cover。那这个视频我们回顾一下elia a sus cover的成长历程，认识一下这位a i技术天才。同时呢也从他近期的媒体采访发言中了解一下他的思想包括。有效利他主义、有效加速主义，这些思想派别在硅谷科技领导者之间的博弈，还有冲突，以及呢以利亚发起的超级对齐是什么意思？open a i将如何的发展，以及a i安全问题能够如何得到解决。
一九八六年伊利亚苏斯特尔出生在苏联时期的俄罗斯，一直到五岁的时候，全家搬去了以色列耶路撒冷。然后呢在以色列成长到了大学时期，前往加拿大的多伦多大学学习电脑科学。那之后啊继续在多伦多大学进修研究生，而他的导师呢正是深度学习之父jeffrey hinton。那么二零一二年的时候，hinton n n n带一个利亚susa er，还有另外一名学生叫叫做alex crt ffk y是发表了深度卷积神经网络alex net论文之后呢，在image net图像识别竞赛上取得了轰动性的成绩。然后呢hinton带着alex跟印尼亚创立了公司dna research。被各个科技大厂竞价疯抢，最后呢他们选择了谷歌。
那么这一段历史在genius makers日本回溯 g pt诞生前十年，硅谷巨头如何布局a i的书里面有详细的提及。中文呢也有一本叫深度学习革命，大家感兴趣啊可以去看看。那么之后啊就是elia a s s a a r在谷歌的将近三年的时间了。直到二零一五年被马斯克还有grab rock man拉拉去跟sam altman n还有一众的大佬们一起是创立了open a i最初的非盈利组织架构。那么伊利亚苏斯cover从第一天开始啊，就是open a i技术的灵魂人物。那么最开始的时候，open a i内部呢可以说是各路神仙打架。
因为最开始都是a i技术大牛，但是大牛们各自擅长和研究的领域不一样，所以呢就有点像无头苍蝇一样，是各种的尝试。所以大家可以看到最开始open a i是尝试过a i机器人，然后最开始也训练a i打游戏。但最开始几年啊都是被谷歌各种的吊打。那么直到二零一七年。谷歌发表的transformer架构论文attention is all unit是引发了业内的关注。之后呢open a i内部开始讨论集中火力走大模型方向。
伊利亚苏斯cover支持了这个方向的发展，然后呢是主导了g p t的一一二三四以及呢生成式画图导锂系列模型的研发。但是啊到g p t五的时候，它启动了叛变，将a i安全问题上升到了舆论中心。那么其实a i大模型的安全问题不是第一次造成open a i内部的分裂了。二零二零年啊open a i的前核心员工daniel amo就带着十名心腹就离开了open a i包括自己的亲妹妹daniella mody，他们是一起创办了。如今open a i最大的竞争对手叫anthropic c。而geral出走的最根本原因就是安全问题。
那么如今的生成式ai呢还是一个黑匣子，人们并不知道其中是如何运作的，只知道堆参数，对于算力的大力出奇迹的方式。而担心a i安全的这一波技术人员们担心啊知其然不知其所以然的人工智能发展态度会带来未知的风险。那么有一个经典的a i案例啊，就是机器学习中有一个现象叫做reward hacking激励扭曲现象。这部分的解释呢我们在硅谷一零一之前的视频open a i黑手党当中啊有详细的解释过。那么我在这里啊再简单的解释一下。那比如说啊我们给a i布置一个任务，让他去通关，比如说吃豆子游戏。
那么按人类设置的激励假设是a你游戏玩的好，通关的越快，那么你被奖励的分数也就越高。但是a i的研究人员发现啊，这个激励假设很容易被a i所扭曲。比如说a i会执迷于获得更高的分数，那么要么走完所有错误的路，吃掉所有的豆子来获得更高的分数。要不就改掉游戏设置来作弊，获得更高的分数，甚至会欺骗人类。但是呢a i却从来不理解要把走出迷宫当做真正的目标，这就叫做被worry hacking激励模型设计和a i真实做法之间有无法预测的不确定性而形成激励扭曲。而当ai神经网络变得更强大，出现激励扭曲的时候。
a i会更容易产生更加想不到的方式去作弊，然后再去得到激励。那么再举一个更极端的例子，想象一下你和a i在下棋，你给a i布置的任务是赢下棋局。但是除了跟你玩游戏获胜之外，还有一种情况是a i认为把你消灭掉是赢下棋局更容易的方式。很可怕对吧？同时呢生成式ai带来的其他安全问题，还有错误信息，算法歧视问题，a i的滥用问题等等等等。那么这就是为什么很多a i从业人员呼吁减慢a i发展速度，真正的去需要关注安全上的问题。那么daro amo dy它采取的方式之一呢是啊用小规模人工智能网络的模型去真正的搞清楚黑瑕疵的问题。
那我曾经有机会当面问darrell黑瑕疵的问题什么时候能够搞清楚？他说呢还需要两到三年的时间。那么另外一年athrob bic推出的chat b t的竞品claw是号称基于constitutional工智能，有这个监督学习的方式，让人工智能根据一套constitution中的原则来产生无害性偏好的数据集。那么确实呢有业内人士反馈说啊，cloud感觉上是更加安全可靠的。但我还是非常期待a i黑瑕疵能够被最终完全解密的那一天。那么到了open a i这边啊，elia sus cover在darrel armoy叛逃的那一次，并没有跟着离开，而是留下来继续的研发了g p t三点五叉g p t以及呢当力系列。那之后呢g p t四还有如今的g p t五，那么直到这一次他是加入了董事会，对sam奥特曼的罢免。
我其实不是特别的惊讶伊利亚苏斯cover最终对安全问题上的反击，只是没有想到是这种非常决然的方式哈。那么其实呢也是有迹可循的，在最近几个月伊利亚苏斯caver开始频繁的对媒体表示对a i安全上的担心。那么还记得我们开头提到的伊利亚苏斯cover是深度学习之父geoffrey hinton的学生。那么geoffrey hinton呢今年早前从谷歌辞职，就是为了能够更好的对人工智能安全提出警告，并且他号称对毕生工作感到后悔和恐惧。所以呢作为hinton的学生，伊利亚对a i的担心很早就存在。但是呢与daniel amoy对a i安全的写法不一样，伊利亚的解法呢叫做超级对齐super alignment。
那么a i对齐的意思呢就是要求a i系统的目标要和人类的价值观与利益相对齐。那么有媒体就报道说啊，伊利亚在一次团队在外面团建的时候，是拿出了一个木质的雕像来代表不对齐的人工智能。然后呢当众把它点燃，强烈地表达出他对不受控制的人工智能的不接受，以及他倡导与人类价值观和安全标准保持一致。所以在今年七月份的时候呢，open a i呢正式宣布成立一个新的研究团队，超级对齐super alignment团队。那么由伊利亚还有研究员jane e e共同来领导，计划未未来四年投入百分之十的算力用a i监督a i的方式解决超级智能a i对齐的问题。
那么用a i来监督a i会是一种新的尝试。我们现在也不知道是否能够成功解决a i的安全问题，但是伊利亚认为这是我们现在必须要去做去尝试的。那么open a i的事态发展到现在啊，已经超出了伊利亚的想象还有控制。他本人呢也是在推特上表示自己后悔加入这次的董事会罢免当中。不想伤害open a i并且呢他的名字后来呢也是出人意料的出现在了要求董事会集体辞职的员工请愿书上。之后董事会再度和sam奥特曼谈判，最终呢sam回到了open a i那么在一天之前啊，我们在录硅谷幺零幺播客的时候，嘉宾说了一段话还挺触动我的。
他说整个事件当中啊，india south cover肯定是挨骂最多的那个人，sam奥特曼呢肯定是在硅谷受到支持最多的那个人。这就是为什么我们要保护伊利亚这个对立面的声音。也许呢未来很多年之后，我们再往回看，会发现伊利亚的角色。也许会相当于三体当中的执剑人逻辑。其实伊利亚不是一个追求跑位的人啊，然后伊利亚也不是喜欢参与这些战队啊，或者说是一些思潮运动的人。伊利亚她其实持有的观点，我觉得跟他的老师是比较像的。
但是他的最后的选择比他的老师会更加勇敢一点。当然跟她比较年轻也有关系啊，她觉得我也保守，我也相信a i他可能最终会有很大的风险。但是我依然要在一个企业里面，我依然要在组织里面，而不是在外面。只是提醒大家有这个风险，我依然要承担起这个责任。去创建一门新的科学。这门科学叫做alignment啊对齐技术，来帮助未来的ai真的具有某种底层的。
编程的注入来确保他们的安全性，这是一个完全新的领域。没有伊利亚和这open a的这群人之前没有人知道哦，原来还有一个科学叫做对齐科学，我们要去关注的。所以他这种在行业里面去推动进步的同时，又去有勇气去考虑别人考虑不到的事情，并且推动一个新的科学发展的。这种精神我觉得是要被人了解到的，而不只是认为说他是一个保守主义者。他是一个。甚至有人会觉得他是一个白莲花，我觉得这个是对他的一个误读。
open a i在网页上这样写道，鉴于我们现在所看到的情况，可以想象在未来十年内，人工智能系统超过大多数领域的专家技能水平，并并且进行当今最大的公司一样多的生产活动。所以一零年之后，人类的社会架构可能会发生重大的改变。在如此大变革来临之际，我们观察到硅谷是极度分裂的。在这样的分裂当中啊，出现了所谓的有效利他主义，还有有效加速主义这两大思维派系。那么有效利他主义effective authors简称e a目前呢是不少科技领袖和创业者们身上的标签啊。他们认为如果生活在数千英里外的人很重要，那么生活在数千年之后的人们也同样重要。
也就是说我们必须要为以后的人类，我们的后代来提前的铺垫。那么open a i的之前董事会中的两名女性董事，曾经或者目前深度参与过e a a的慈善基金会组织也是非常明显的。e a啊。也可以理解为a i保守派希望重视a i安全。那么其中媒体也报道说啊，helen呢就因为之前的一篇研究文章中指出open a i的安全问题，而表扬了对手anthropic，而跟sam altman呢是起过争执。那么另外的一个思潮呢叫做有效加速主义effective acceleration ism简称e a c c。
那么你会在推特还有link n上面很多地方看到。硅谷不少人啊将自己归到这个派别当中。嗯，那比如说孵化器y c的掌门人gert ten，甚至呢是做了件e a c c的衣服穿着。他们认为啊技术与资本应该联合无条件实现加速科技创新，并且能快速的推向市场来颠覆社会架构。那么这两股技术信仰最近几年一直在硅谷打架，也不出意外发生在了open a i的身上。
但无论是e a还是e a c c，我相信啊每个派别里面都有很多人是真正爱人类的。所以呢他们也希望a i也能够爱人类。但是呢这种爱的定义要很小心，很谨慎也很重要。所以呢看到视频的你们是e a还是e a c c呢？
