当前位置: 保成网 >  新闻资讯 >  微软最新策略揭秘:利用儿童故事培育AI语言模型,低成本训练革命即将开启

微软最新策略揭秘:利用儿童故事培育AI语言模型,低成本训练革命即将开启

更新时间:2024-03-11 01:23:35作者:zsbaocheng

微软最新策略揭秘:利用儿童故事培育AI语言模型,低成本训练革命即将开启

【微软研究人员探索使用儿童故事训练微小语言模型,发现其能迅速学会讲述连贯且符合语法的故事。为训练大型模型提供了新的研究方向。】

在人工智能领域,理解和改进神经网络的行为一直是一个挑战。大型语言模型如ChatGPT的训练成本高昂,而微软研究人员提出了一个新的方法:使用儿童故事来训练微小模型。以此模拟神经网络的学习过程。

这种方法的灵感来自于果蝇基因组测序与人类基因组测序的类比。研究人员在较小的数据集上训练语言模型,从而更容易理解这些模型的行为。在最新的研究成果中,微软的研究人员发现。即使是比现有最先进系统小数千倍的语言模型,在接受儿童故事训练后,也能迅速学会讲述连贯且符合语法的故事。

为了生成这些训练数据,研究人员首先创建了一个由大型语言模型生成的合成儿童故事库。然后,他们使用这些故事训练了参数规模介于100万到3000万的模型,并比较了它们的性能。结果表明,较小的模型也能表现出色,尤其是在掌握语法和故事一致性方面。

这项研究表明,微小模型的成功为训练更大、更复杂的模型提供了宝贵的见解。同时,它也为如何构建高质量的训练数据集提供了新的思路。研究人员希望,这一发现能激发更多关于语言模型的科学研究。

和讯自选股写手

风险提示:以上内容仅作为作者或者嘉宾的观点,不代表和讯的任何立场,不构成与和讯相关的任何投资建议。在作出任何投资决定前,投资者应根据自身情况考虑投资产品相关的风险因素,并于需要时咨询专业投资顾问意见。和讯竭力但不能证实上述内容的真实性、准确性和原创性,对此和讯不做任何保证和承诺。

领和讯Plus会员,免费看更多独家内容:8大财经栏目,最新最热资讯干货独家行情解读,快人一步掌握市场投资风向。

相关教程

copyright ©  2012-2024 保成网 m.zsbaocheng.net 版权声明