【ChatGPT•大模型】百度•文心一言：技术与能力拆解

黛家小炮儿

内容来源于网络，若不便发表，请联系后台删除；文章仅用于研究参考，不构成任何投资建议，投资有风险，入市需谨慎。
文心一言：基于文心大型模型的中文生成式对话产品
文心一言（ERNIE Bot）是基于文心大模型技术推出的生成式对话产品，由百度于2023年2月7日正式宣布推出，预计3月问世。文心一言的底层技术基础是文心大模型。文心一言的底层逻辑是，通过百度智能云提供服务，吸引企业和机构客户使用API和基础设施，共同搭建AI模型、开发应用，实现产业AI普惠。我们从技术和架构角度对文心大模型和百度智能云进行了拆解分析，类比已有的文心大模型应用展望了文心一言可能的能力，并探究了搜索引擎+API+生态融合的可能应用方式。截至2023年2月25日，已有超450家企业宣布加入“文心一言”生态圈。

文心大模型：文心一言的模型基础
飞桨是开源的产业级深度学习平台，而文心大模型是其中重要的基础模型库，也是“文心一言”的基础模型。更进一步划分，文心大模型包括NLP大模型、CV大模型、跨模态大模型、生物计算大模型、行业大模型，其中NLP大模型主要为ERNIE系列模型，是打造文心一言的关键。ERNIE系列模型已迭代到3.0版本，将自回归和自编码网络融合进行预训练，并引入大规模知识图谱类数据，模型表现性能良好，为文心一言奠定了技术基础。

百度智能云：文心一言对外提供服务的窗口
文心一言通过百度智能云对外提供服务。百度智能云的业务架构包括百度大脑+平台+应用，文心大模型位于百度大脑基础层。此外，百度智能云推出了“云智一体3.0”架构，包含行业应用、通用产品、AI大底座和通用cloud，形成了一套涵盖软硬件的“芯片-框架-大模型-行业应用”智能化闭环路径。其中，AI大底座包括IaaS和PaaS两层，为文心一言提供了智算基础设施。2022年上半年，百度智能云在中国AI公有云服务市场份额第一。

从文心一格/文心百中展望文心一言能力
文心一格和文心百中均是基于文心大模型推出的产品级应用，与文心一言定位相似。其中，文心一格基于文心大模型中的文图生成模型ERNIE-ViLG，主要实现AI作画应用；文心百中是基于文心ERNIE大模型的端到端搜索引擎，用来替代传统搜索引擎复杂的特征及系统逻辑。我们认为，技术上来说，文心大模型已经具备了搜索、文图生成等功能，并成功得到应用，这些能力或将集成于文心一言，并增加预置作文生成、文案创作、情感分析等任务处理能力。

应用方式：搜索引擎+API+生态融合
我们认为，文心一言可能的应用方式包括搜索引擎、API、生态融合。搜索引擎方面，微软的新Bing与ChatGPT的融合已经证明了路线的可行性，文心一言或将集成于百度搜索，充分发挥国内市占率优势。大模型API方面，ERNIE-ViLG文生图和PLATO的API已成功得到应用，文心一言或采用类似的API方式提供服务。生态融合方面，或可以接入Apollo自动驾驶平台、爱奇艺、小度等平台和终端，进一步扩展使用场景。

风险提示：宏观经济波动，下游需求不及预期。本报告内容均基于客观信息整理，不构成投资建议。

===================
文心一言：基于文心大型模型的中文生成式对话产品
文心一言是基于文心大模型技术推出的生成式对话产品。文心一言英文名ERNIE Bot，由百度于2023年2月7日正式宣布推出，预计3月问世。文心一言的底层技术基础是百度飞桨开源深度学习平台中的基础模型库—文心大模型，其中以ERNIE系列模型为核心。文心一言的底层逻辑是，通过百度智能云提供服务，吸引企业和机构客户使用百度智能云提供的API和基础设施，共同搭建AI模型、开发应用，实现产业AI普惠。

文心大模型：“文心一言”基础模型库
文心大模型是“文心一言”的基础模型。文心大模型是飞桨产业级开源深度学习平台中重要的基础模型库。飞桨是集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体的产业级深度学习平台，于2016年正式开源。飞桨已广泛应用于工业、农业、服务业等，开发者达535万，创造模型67万个，服务企事业单位20万家，产学研用紧密协同培养AI人才超200万。此外，飞桨模型库中的自然语言处理开发库PaddleNLP，聚合了业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景，为文心一言提供了技术积累和补充。文心大模型与飞桨共享生态，围绕“产业级”和“知识增强”两大特色，持续构建适合产业应用的模型体系。



文心大模型底座+文心一格/百中，为“文心一言”打好技术与应用基础。2022年11月30日，文心大模型新版发布，新增11个大模型，总量扩充至36个，涵盖电力、燃气、金融、航天、传媒、城市、影视、制造、社科等领域，构建了业界规模最大的产业大模型体系。基于文心大模型体系，一方面全面升级大模型开发套件、文心API和提供全流程开箱即用大模型能力的EasyDL和BML开发平台，另一方面推出AI艺术与辅助创作平台“文心一格”、产业级搜索系统“文心百中”和旸谷社区等基于大模型技术的产品应用。我们认为，文心大模型底座+文心一格/百中应用，为文心一言的问世奠定了技术和应用基础。



文心大模型覆盖了NLP等多个AI应用场景。文心大模型包括NLP大模型、CV大模型、跨模态大模型、生物计算大模型、行业大模型。其中，NLP大模型面向语言理解、语言生成等NLP场景，具备语言理解、对话生成、文学创作等能力。CV大模型基于视觉技术，利用图像、视频等数据，提供视觉基础模型，以及视觉任务定制与应用能力。跨模态大模型可实现跨模态检索、图文生成、图片文档的信息抽取等应用的快速搭建。生物计算大模型融合生物领域研究对象的特性，构建面向化合物分子、蛋白分子的生物计算领域预训练模型。行业大模型在通用大模型的基础上学习行业特色数据与知识，建设行业AI基础设施。

ERNIE 3.0：打造文心一言的关键模型
文心一言是基于文心NLP大模型的生成式对话产品，ERNIE模型是关键。文心NLP大模型打造了ERNIE模型系列，应用于金融、医疗、搜索、编程、图理解等领域。此外，文心NLP大模型还包含了全球首个知识增强超大模型鹏城-百度·文心（ERNIE 3.0 Titan），模型参数规模达到2600亿；全球首个超百亿参数规模的中英文对话预训练模型PLATO，实现机器像人类一样进行有逻辑、有内容的流畅对话。文心一言英文名ERNIE Bot，是基于ERNIE模型系列打造的生成式对话产品，ERNIE是文心一言实现的关键。



ERNIE问世于2019年，目前已发展到ERNIE 3.0。2019年4月，ERNIE 1.0问世（论文：ERNIE: Enhanced Representation through Knowledge Integration），是基于BERT模型的进一步优化，在中文的NLP任务上得到了当时较好的结果。2019年7月，ERNIE 2.0问世（论文：ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding），该框架通过不断的多任务学习来逐步构建和学习预训练任务，最大限度地从训练语料库中提取词汇、句法和语义信息。2021年7月，ERNIE 3.0问世（论文：Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation）。目前，ERNIE在GLUE Benchmark（通用语言理解评估排名）上排名第五（截至2023年2月22日）。



ERNIE 3.0是基于知识增强的多范式统一预训练框架。ERNIE 3.0将自回归和自编码网络融合进行预训练，并在训练时引入大规模知识图谱类数据。其中，自回归网络基于Tranformer-XL结构，支持长文本语言模型建模。自编码网络采用ERNIE 2.0的多任务学习增量式构建预训练任务，持续的进行语义理解学习，并增加了知识增强的预训练任务。多范式的统一预训练模式，不仅在zero/few-shot（零样本/少样本学习）任务上展现了很强的能力，也能很好地处理传统的fine-tune（微调）任务，使得ERNIE 3.0在理解任务、生成任务和零样本学习任务上取得了较好表现。



ERNIE 3.0 Zeus进一步提升了模型的零样本/小样本学习能力。ERNIE 3.0 Zeus是ERNIE 3.0的最新升级。ERNIE 3.0 Zeus使用统一范式的多任务学习，建模数据中不同粒度的语义信息，并提出了层次化提示（Prompt）学习技术，显著提升了模型的零样本/小样本学习能力。在数据构造时，通过层次化的Text Prompt库将不同的任务统一组织成自然语言的形式，和海量无监督文本以及百度知识图谱联合学习。在训练时，引入了层次化Soft Prompt，对不同任务之间的共性与特性进行建模，提升了模型对于不同下游任务的建模能力。



文心大模型位于中国大模型市场第一梯队
文心大模型位于中国大模型市场第一梯队。IDC在《2022中国大模型发展白皮书》中提出了行业首个大模型评估框架，基于模型能力、工具平台能力等6个维度的11项指标，评估各模型厂商的水平。据IDC数据，百度文心大模型综合评估结果处于第一梯队，产品能力、生态能力、应用能力均处在领先位置，具有产业级、知识增强两大特色。文心大模型优异的能力是文心一言重要的技术保障。



ERNIE 3.0 vs GPT系列：更适合中文NLP模型
ERNIE 3.0最大特点在于多范式统一和知识图谱引入。OpenAI的GPT系列模型问世于2018年6月，经过近5年的时间迭代了GPT-1、GPT-2、GPT-3、Codex、InstructGPT、ChatGPT等多个大版本。2022年11月ChatGPT问世后，5天之内用户突破百万。2023年2月，微软宣布旗下浏览器EDGE和搜索引擎Bing接入ChatGPT，用对话的方式取代传统的搜索。将ERNIE 3.0与GPT系列相比，其最大特点在于采用多范式统一的大规模预训练框架，融合了自回归网络+自编码网络，并在训练时引入大规模知识图谱类数据。经过ERNIR 3.0训练后的模型可以通过零镜头学习、少镜头学习或微调轻松地为自然语言理解和生成任务定制，其英文版在2021年7月SuperGLUE基准测试（SuperGLUE是Facebook人工智能研究中心、Google DeepMind、华盛顿大学以及纽约大学共同推出的用于衡量高性能语义理解AI的基准测试）中取得第一名，超过人类绩效0.8%（90.6% vs 89.8%）。



我们认为，ERNIE 3.0作为文心一言的核心模型引擎，在英文版的测试中本身已经取得了优秀结果。在中文NLP方面，ERNIE 3.0比ChatGPT更具有天然的语言优势，或将更好的支持中文搜索问答、内容创作生成、虚拟人物、智能客服、智能写作等应用。
===================
百度智能云：文心一言对外提供服务的窗口
百度智能云：百度大脑+平台+应用三层架构
百度智能云的业务架构包括百度大脑+平台+应用，文心大模型位于百度大脑基础层。架构底层是百度大脑，包括基础层、感知层、认知层和安全，是百度核心技术引擎。其中，基础层的飞桨深度学习平台提供的文心大模型，是文心一言的技术基础。中间是平台层，包括通用的基础云平台、AI中台、知识中台，以及针对场景的平台和其他关键组件。上层为智能应用和解决方案层，在基础层和平台的支持下为各行各业赋能。同时，百度智能云打造了一体化的安全体系，全面覆盖AI模型安全到行业生态安全。



云智一体+AI大底座打通文心一言基础设施与应用窗口
文心一言通过百度智能云对外提供服务。2023年2月，在AI+工业互联网高峰论坛上，百度智能云宣布“文心一言”将通过百度智能云对外提供服务。百度智能云采用云智一体架构，以云计算为基础，以AI为抓手，借助百度大脑、飞桨平台等对传统生态输出AI能力，为企业和开发者提供全球领先的人工智能、大数据和云计算服务。2022年，百度智能云推出“云智一体3.0”架构，形成了一套涵盖软硬件的“芯片-框架-大模型-行业应用”智能化闭环路径，环与环之间通过关键自研技术形成信息反馈，实现端到端优化。

“云智一体3.0”架构包含四层：

1）行业层：切入重点行业里的核心场景，例如制造业中的质量监控、安全生产和工厂节能等，发挥AI对行业的赋能作用。

2）通用产品层：将不同行业的通用需求，沉淀为标准化的通用AI产品，再进行垂直领域的行业拓展，例如智能客服、数字人等。

3）AI大底座：由AI IaaS和AI PaaS组成，整合百度自研的AI芯片“昆仑芯”、飞桨深度学习框架、文心大模型，面向企业AI开发和应用提供完整解决方案。

4）通用cloud：满足海量的计算需求。



AI大底座为文心一言提供了智算基础设施。2022年，百度智能云发布国内首个全栈自研的AI基础设施“AI大底座”。AI大底座在AI IaaS层（百舸AI异构计算平台）整合自研AI芯片“昆仑芯”，在AI计算、存储、加速、容器方面进行系统优化，提供高性价比的算力，承载数据的处理、超大模型的训练和推理；在AI PaaS层（AI中台），整合飞桨深度学习框架及百度文心大模型，打通百度的样本中心、模型中心、AI开发平台、AI服务运行平台，实现从数据存储到模型训练、生产、部署、测试的全链路、批量化生产，面向企业模型开发的全生命周期提供完整解决方案。AI大底座是各项底层AI技术的集大成者，通过AI底层技术的通用化、模块化，实现AI服务的规模化。



百度智能云：市场优势明显，云服务市场份额第一
2022年上半年，百度智能云在中国AI公有云服务市场份额第一。据IDC《2022H1中国AI云服务市场研究报告》数据，2022年上半年中国AI公有云服务市场规模将达74.6亿元，百度智能云稳居第一（连续四年），整体市场份额占比28.1%，并且在人脸人体、图像视频两个规模最大的子市场继续保持第一。同时，在增速较快的对话式AI市场中，据沙利文联合头豹研究院共同发布的《2021年中国对话式AI市场报告》数据，百度智能云增长指数、创新指数均排名第一，稳居市场领导者梯队。百度智能云的市场地位，为文心一言的广泛推广打下了基础。



===================
从文心一格/文心百中展望文心一言能力
文心一格和文心百中均是基于文心大模型的产品级应用，与文心一言定位相似。文心一格和文心百中是目前文心大模型成功应用的范例。其中，文心一格基于文心大模型中的文图生成模型ERNIE-ViLG，主要实现AI作画应用。文心百中是基于文心ERNIE大模型的端到端搜索引擎，用来替代传统搜索引擎复杂的特征及系统逻辑。未来推出的文心一言，与文心一格和文心百中具有相似的定位，或将共同补全文心大模型在对话生成、图像生成和搜索等领域的应用图谱。

我们认为，技术上来说，文心大模型已经具备了搜索、文图生成等功能，并成功得到应用，这些能力或将集成于文心一言。此外，据百度官方信息，将提供基于ERNIE 3.0的文本理解与创作API，预置作文生成、文案创作、情感分析等任务提示（prompt），支持用户自定义prompt，模型根据零样本或少样本的输入提示生成结果。这些功能或将同样与文心一言息息相关。

文心一格：ERNIE-ViLG在产品层面的应用
文心一格是文心AI作画大模型ERNIE-ViLG在产品层面的应用。2022年8月19日，在中国图象图形大会CCIG 2022上，AI艺术和创意辅助平台文心一格正式发布。用户将创想以自然语言的形式输入到模型中，并设定化作风格，模型即可根据需求生成相关画作。在WAVE SUMMIT+2022深度学习开发者峰会上发布的新版本文心一格，在此前的基础上，增加支持以图生图、可控的增删改等图片二次编辑和一键生成视频。目前，用户通过充值的方式实现文心一格的画作创作。



文心百中：大模型驱动的产业级搜索系统
文心百中是基于大模型的端到端产业级搜索引擎。文心百中以文心ERNIE大模型为基础，替代了传统搜索引擎复杂的特征及系统逻辑，实现低成本接入各类企业和开发者应用，以数据驱动的优化模式提高行业效率和应用效果。目前，文心百中覆盖的搜索场景包括文本、结构化、富文本、视频等领域，并且以文本场景为主。





文心百中在技术和应用上均有优势。技术上，1）架构：技术架构简单，采用以大模型为核心的端到端搜索架构，一套架构支持各类异构数据搜索；2）优化：采用数据驱动的低门槛效果优化，以及点击日志自动采集的自我优化；3）语义理解：单模型刷新60+中文NLP任务基准，并登顶SuperGLUE（一种特征匹配网络）全球榜首。应用上：1）部署：支持容器化一键部署，支持可视化控制台、命令行、API操作；2）迁移：大模型具备强大的小样本能力，行业迁移所需的标注数据量少，部分场景无需优化即可上线；3）对接：不同类型的异构数据可复用一套模型、一套接口，直接建库直接搜索；4）系统建设：以AI大模型替代传统复杂的人工策略构建，导入待搜索的数据即可完成索引库的建设。



文心百中提供体验版和正式版两个版本。两个版本的区别体现在模型搜索效果、部署、性能和功能上。体验版用户可以申请本地部署，正式版目前提供试用通道。文心百中支持知识搜索、开发者搜索、经济GDP搜索、游戏攻略搜索、宠物知识搜索、百科SPO搜索等，搜索结果相比传统搜索引擎的关键词搜索更为精确。此外，正式版的自定义搜索功能，可以支持部用户上传本地的数据后，获取基于大模型的语义搜索能力。



===================
应用方式探索：搜索引擎+API+生态融合
可能的应用方式#1：文心一言+搜索引擎
微软证明了搜索引擎+类GPT产品是可行路线。2023年2月8日，微软发布基于ChatGPT的新版EDGE浏览器和Bing搜索引擎，在提供传统搜索内容的同时，用户可以与搜索引擎进行对话交流，获得更全面的答案。反观国内，百度搜索在国内市场份额处于绝对的领先地位，据statcounter数据，截至2023年1月，百度搜索在国内搜索引擎市场份额为65.2%。我们认为，文心一言+百度搜索在国内具有较大优势，且微软与ChatGPT的融合已经证明了该模式的有效性。



可能的应用方式#2：大模型API
文心一言或将提供大模型API相关功能。据文心大模型官网信息，目前，文心大模型提供的大模型API包括ERNIE-ViLG文生图和PLATO，以及正在开发的ERNIE 3.0文本理解与创作。ERNIE 3.0文本理解与创作与文心一言官网相关联，我们认为，文心一言等生成式对话产品或将同样提供大模型API相关功能。



ERNIE-ViLG文生图是文心大模型中跨模态文图生成大模型。ERNIE-ViLG可通过自然语言实现图像生成与编辑，并支持API集成服务能力。最新版本ERNIE-ViLG 2.0采用基于知识增强算法的混合降噪专家建模，是全球首个知识增强、参数规模最大的AI作画大模型，在文本生成图像公开权威评测集MS-COCO和人工盲评上超越了OpenAI的DALL-E 2等模型，在语义可控性、图像清晰度、中国文化理解等方面优势明显。



文心PLATO是大规模开放域对话模型，支持API调用。PLATO与ERNIE同样属于NLP大模型。PLATO是世界首个基于隐变量的生成式开放域对话大模型，利用隐变量建模开放域对话中的一对多关系（一个输入对应多个正确输出）。模型采用Unified Transformer框架共享生成模型中的编码器和解码器参数，通过课程学习方式提升模型训练效率，在大规模高质量对话语料上基于飞桨深度学习框架进行训练。PLATO具备接近真人水平的多轮流畅对话能力，其中英文模型在开放域下的对话合理性、丰富度、吸引度等各项指标上达到领先水平。PLATO同样支持API调用，但据官网消息，目前内测已满额，暂不开放体验申请。



可能的应用方式#3：产品级应用+生态融合
打造产品级应用，实现生态圈融合。产品上，文心一言可能打造与文心一格、文心百中类似的产品级应用，通过直接的方式提供服务，类似ChatGPT通过网页即可实现访问。生态上，结合百度自身的自动驾驶、视频等已有生态，融合文心一言的新搜索形态，或可以接入Apollo自动驾驶平台、爱奇艺、小度等平台和终端，扩展使用场景。此外，虚拟人也是可能的应用方向之一，例如官宣文心一言的新闻编辑人“希加加、度晓晓、叶悠悠、林开开”，或是基于文心大模型的虚拟人。




接入情况：超450家企业宣布加入“文心一言”生态圈
超450家企业已宣布加入“文心一言”生态圈。截至2023年2月25日，涵盖互联网、媒体、金融、汽车、企业软件等行业的超450家企业已宣布加入“文心一言”生态圈。据2023年数智金融峰会信息，“对于金融行业来说，文心一言将率先在智能检索、投研助手、金融数字人、智能客服、智能创作等场景落地”。其他落地场景或将包括智能客服、智能对话、智能创作、知识管理等内容、信息相关的场景。

相关公司梳理
文心一言等类ChatGPT产品产业链涉及公司众多，主要包括前台应用开发商，以及后台算力和基础设施提供商。我们从大模型，算力芯片，服务器，光通信，相关应用等角度，对产业链相关公司进行如下梳理：

1、大模型：百度，360；
2、算力芯片：海光信息，景嘉微，寒武纪；
3、服务器：浪潮信息，中科曙光，拓维信息，神州数码；
4、光通信：天孚通信，中际旭创；
5、相关应用：科大讯飞，金山办公，同花顺，宇信科技，泛微网络，致远互联 。

—END—

破晓的曙光

LZ是天才，坚定完毕