Sakana.ai助力企业低成本构建自研AI模型
文 | 阿尔法公社
不需要预训练就能获得新的基础模型?Sakana.ai最新发布的技术“进化模型合并”(Evolutionary Model Merge)或许能实现这一设想。该技术利用一种名为“进化模型合并”算法,直接从海量开源模型中生成具有特定能力的基础模型,从而规避了预训练基础模型的巨大计算成本。
Sakana.ai由前谷歌研究人员David Ha、Llion Jones(Transformer论文作者之一)共同创立,目前已经获得了Lux Capital领投,Khosla Ventures参与的3000万美元种子轮融资,投资方还包括日本NTT集团、KDDI CVC、索尼集团等。此外,还包括Jeff Dean、Clem Delangue(Hugging Face创始人)、Alex Wang(Scale AI创始人)等在内的知名全球公司和个人天使投资人参与投资。
Sakana.ai的核心团队成员主要来自于Google Brain、Google DeepMind、Stability AI等顶尖AI研究机构,其中不乏亚裔成员。他们在研究中借鉴了自然界的许多理念,如进化和集体智能,以期创建全新的基础模型。
进化模型合并算法是一种通用方法,通过进化技术高效地寻找将不同模型从海量开源模型中组合起来以实现多样化能力的最佳方式。这一算法不仅可以降低生成新模型的计算成本,而且有望开启AI模型训练的新时代。