又到周五,沈语熙入职永恒智能已经四天。这些天,除了恶补人工智能相关的技术之外,她还搜罗了几乎所有市面上能找到的写作和笔记类的应用软件,进行详细分析研究。
然而,在进入实质性产品设计阶段前,她感到需要先弄清楚,为什么林浩在那次宣布“灵笔”项目的会议上说,“灵笔”的核心竞争力在于“不断学习、记忆用户写作的内容和语言风格”以及“轻松应付超长上下文记忆情境”。据她这两天对竞品的分析来看,市场上现有的产品在人工智能辅助写作方面,确实都做不到林浩说的这两点。
沈语熙越来越习惯于在遇到疑问时直接在slack上询问优雅:“优雅,对于人工智能模型来说,学习、记忆用户写作的内容和语言风格,支持超长上下文记忆,这些很难吗?”
没过多久,优雅就发来了详尽的回复:“目前大多数人工智能模型都是基于gpt架构开发的。这类模型不具备持续学习和记忆的能力,其‘记忆’更多是依赖于用户的输入。当用户提出问题时,之前的对话内容会作为上下文一并输入模型,使模型能够在回应中反映出对之前内容的‘记忆’。但由于算力的限制,上下文的长度必须有一定的约束,否则将会带来不可承受的计算压力。因此,系统会逐渐丢弃比较早期的内容,这也就意味着模型会“遗忘”它们。而且,对这类模型进行个性化训练的成本极高,针对每个用户进行独立训练几乎是不切实际的。”
沈语熙进一步追问:“那‘萤火虫2’是如何突破这些限制的呢?它不是基于gpt架构的吗?”
“据我所知,‘萤火虫1’确实是gpt架构的。但林浩并没有和我谈起过‘萤火虫2’的技术架构,我猜测他可能会基于他自己的enica技术来开发‘萤火虫2’。如果真是如此,那么超长上下文记忆,以及个性化训练,这些对于‘萤火虫2’来说都不成问题。enica技术源自林浩在斯坦福攻读硕士学位时读到的一篇论文,全名是“enlightenedneuralinteraction&prehensionarchitecture(enica”。由于它只是描述了一个抽象的纯理论框架,几乎没有人认为它有实际价值。林浩读到时却如获至宝,就此将它作为自己的研究方向,并为之努力多年。如今已经成功将它转化为可工程化实现的技术,它可以极大地降低模型的训练和运行的硬件要求。在极致优化的情形下,与常规的gpt架构的模型相比,它的性能可以提升十万倍的数量级。另外,我就是林浩基于enica技术开发的第一>> --