2023第一期科技趋势推荐——多模态预训练大模型
2023-05-31
多模态预训练大模型
基于多模态的预训练大模型将实现图文音统一知识表示，成为人工智能基础设施。[1]
基于多模态的预训练大模型将实现图文音统一知识表示，成为人工智能基础设施。[1]
近日，OpenAI GPT-4和百度文心言的相继亮相，再度激发起人们对人工智能技术的关注和探讨。人们愈发清晰地认识到，发展人工智能规模化产业，必须要构筑起过硬的AI大模型。唯有如此，人工智能企业才能根据用户的不同需求在基础大模型之上进行多场景、多领域的模型生产，最终实现具体行业模型的落地。放眼全球，国际上已经形成AI大模型的先发优势，我国AI大模型发展在硬件、人才、生态等方面存在差距。在人工智能进入大规模落地应用的关键时期，AI大模型的通用性、泛化性以及基于“预训练+精调”的新开发范式，能够解决落地门槛过高、数据资源有限、应用重复开发等问题。因此，攻关AI大模型成为我国产业数字化转型、智能化发展的必然选择。[2]
预训练模型首先在计算机视觉领域ImageNet数据集上兴起。通过自监督学习从大规模任务无关的无标注语料库中训练深层的网络模型，得到一组训练参数，即一个词在某个特定上下文语境的语义表示，其本质可以被当成一种很好的初始化或正规化，旨在对文本的内隐知识进行表示。为了更好地学习语言表征，并将其在其他特定自然语言处理任务上进行微调，将其中深层的网络模型称为“预训练模型”。自2018年底BERT(Bidirectional Encoder Representation from Transformers)在多个自然语言处理任务中达到了最优效果(State of The Art, SOTA)以来，一系列基于BERT改进的预训练模型相继被提出。这些模型进而推动了深度学习与预训练技术的发展浪潮，也出现了针对各种场景而设计的预训练模型扩展模型。[3]
预训练模型首先在计算机视觉领域ImageNet数据集上兴起。通过自监督学习从大规模任务无关的无标注语料库中训练深层的网络模型，得到一组训练参数，即一个词在某个特定上下文语境的语义表示，其本质可以被当成一种很好的初始化或正规化，旨在对文本的内隐知识进行表示。为了更好地学习语言表征，并将其在其他特定自然语言处理任务上进行微调，将其中深层的网络模型称为“预训练模型”。自2018年底BERT(Bidirectional Encoder Representation from Transformers)在多个自然语言处理任务中达到了最优效果(State of The Art, SOTA)以来，一系列基于BERT改进的预训练模型相继被提出。这些模型进而推动了深度学习与预训练技术的发展浪潮，也出现了针对各种场景而设计的预训练模型扩展模型。[3]
传统的预训练多集中于单模态数据，且多数的预训练工作均在英文数据上实现。在很长一段时间里，中文数据都缺乏大规模预训练模型和多模态预训练模型。自2020年以来，阿里巴巴达摩院认识到这一问题的重要性，提出了超大规模中文多模态预训练的课题。基于多模态表示学习以及超大规模预训练模型的研究，达摩院掌握了基于超大规模多模态预训练的核心技术，于2021年提出了超大规模中文多模态预训练模型M6。在之后的一年内，达摩院陆续发布了百亿、千亿、万亿和十万亿参数规模的超大模型。这些工作推动了低碳AI的发展，同规模的M6耗电量不到GPT-3的1/100。达摩院还积极推进M6大模型的产业化落地，这包括手机淘宝推荐、支付宝搜索推荐等100余种算法场景。同时，M6利用其能力支持多个行业实现创新产品的孵化，如AI服饰设计能力可以支持服饰制造行业。同时，M6还推出了大规模预训练平台，使得大模型的应用以服务化的形式对外提供服务。该平台也是当前下游任务覆盖最广的预训练平台。平台化使得大模型同时服务于学界和产业界，大幅降低了大模型的门槛，并让AI大模型简单易用。[4]
注释：
[1].达摩院：2023十大技术趋势.[EB/OL].[2023-04-04].
https://damo.alibaba.com/techtrends/2023
[2].黄哲.攻关AI大模型.[N].中国计算机报.2023-03-20第8版.
[3].阿布都克力木·阿布力孜,张雨宁阿力木江·亚森.预训练语言模型的扩展模型研究综述.[J].计算机科学. 2022,vol 49 NO 11.
[4].林俊旸,周畅,杨红霞.超大规模多模态预训练模型M6的关键技术及产业应用.[J].中兴通讯技术. 2022,28(02):44-50.
往期精彩推荐
人工智能成为科学家的新生产工具，催生科研新范式（1)
大模型参数竞赛进入冷静期，大小模型将云边端协同进化（2）
光电融合兼具光子和电子优势，突破摩尔定律限制（3）
人工智能助力大规模绿色能源消纳，实现多能互补的电力体系（4）
机器人将兼具柔性和类人感知，可自适应完成多种任务(5)
全域隐私计算破解数据保护与流通两难，隐私计算走向全域数据保护(6)
星地计算卫星及地面一体化的通信与计算，促进空天地海全面数字化(7)
服务推广
图书馆知识产权服务团队借助图书馆海量的学科信息资源、文献计量分析方法和相关分析工具，为北京邮电大学师生提供基于研究主题的学科文献资源的推荐与订阅服务。
我们也可以为您定期寻找和推荐与您的研究相似的最新文献；我们还可以为您提供您的学科的研究热点；您所在学科的机构发文量最新统计等。
如果您有上述相关需要，欢迎联系我们：
联系电话：62281970（周一至周五8:00-11:30，13:30-17:00）
地址：西土城校区图书馆219室
联系人：王老师
邮箱：zcfw@bupt.edu.cn