大模型调研
| 公司 | AI大模型 | 模型参数 | 训练数据 | 发布时间 | 应用场景 | AIGC应用场景 |
|---|---|---|---|---|---|---|
| 百度 | 文心·NLP大模型 文心·CV大模型 跨模态大模 | - | - | 发布时间 | 智能搜索 智能云 自动驾驶 智能地图 汽车智能化 解决方案 智能家居 | AI作画 AI写作 AI编剧 AI语音 AI视频创作 数字人 |
| 阿里 | M6 | 10万亿 | - | 发布时间 | 阿里云 钉钉 | AI海报设计 |
| openAI | GPT-1 GPT-2 GPT-3 ChatGPT | 1.17亿 15亿 1750亿 1750亿 | 5G 40G 45T | 2018年6月 2019-2 2020-5 2022-11 | 对话 | 对话 |
| 元语智能 | ChatYuan | 百亿 | - | 2022-11 | - | 对话 |
| 华为 | 盘古 | - | - | - | - | 对话 |
| 华为+中科院自动化所 | 紫极太初 | 千亿 | - | - | - | 对话 |
| 北京智源人工智能研究院 | 悟道 | 1.75万亿 | 悟道1.0 悟道2.0 | - | - | 对话 |
一、元语AI-ChatYuan
1.官网：
https://github.com/clue-ai/ChatYuan
2.简介：
hatYuan: 元语功能型对话大模型
这个模型可以用于问答、结合上下文做对话、做各种生成任务，包括创意性写作，也能回答一些像法律、新冠等领域问题。它基于PromptCLUE-large结合数亿条功能对话多轮对话数据进一步训练得到。
PromptCLUE-large:在1000亿token中文语料上预训练，累计学习1.5万亿中文token，并且在数百种任务上进行Prompt任务式训练。针对理解类任务，如分类、情感分析、抽取等，可以自定义标签体系；针对多种生成任务，可以进行采样自由生成。
3.预训练代码：
https://github.com/google-research/text-to-text-transfer-transformer
4.训练数据集合：
https://github.com/CLUEbenchmark/pCLUE
pCLUE: Large-scale Prompt-based Dataset for Multi-task and Zero-shot Learning in Chinese
pCLUE：基于提示的大规模预训练数据集，用于多任务学习和零样本学习
数据量： 120万训练数据，73个Prompt
- 训练集 train.json: 1,200,705
- 验证集 dev.json: 100,000
- 公开测试集 test_public.json: 129,556
- 测试集 test.json: 250,461
5.目前已经有包含9个数据集：
1.单分类tnews
2.单分类iflytek
3.自然语言推理ocnli
4.语义匹配afqmc
5.指代消解-cluewsc2020
6.关键词识别-csl
7.阅读理解-自由式c3
8.阅读理解-抽取式cmrc2018
9.阅读理解-成语填空chid
二、百度文心
1.官网：
https://github.com/PaddlePaddle/ERNIE
2.简介：
文心大模型ERNIE是百度发布的产业级知识增强大模型，涵盖了NLP大模型和跨模态大模型。2019年3月，开源了国内首个开源预训练模型文心ERNIE 1.0，此后在语言与跨模态的理解和生成等领域取得一系列技术突破，并对外开源与开放了系列模型。
3.底层模型：
ERNIE 1.0
ERNIE 2.0
ERNIE 3.0
4.对话大模型：
文心一言，暂未发布,3月份发布
三、GPT系列
1.官网：
GPT-1：
GPT-2：https://github.com/openai/gpt-2
GPT-3：https://github.com/openai/gpt-3
ChatGPT: https://chat.openai.com/
2.介绍：
GPT-1、GPT-2：模型均是开源的，GPT-3模型没有开源
3.论文：
GPT-1：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
GPT-2：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
GPT-3：https://arxiv.org/pdf/2005.14165.pdf
instructGPT：https://arxiv.org/pdf/2203.02155.pdf
作者：机器之心
链接：https://zhuanlan.zhihu.com/p/597100830
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
在机器学习中，模型的能力是指模型执行特定任务或一组任务的能力。模型的能力通常通过它能够优化其目标函数的程度来评估。例如，用来预测股票市场价格的模型可能有一个衡量模型预测准确性的目标函数。如果该模型能够准确预测股票价格随时间的变化，则认为该模型具有很高的执行能力。一致性关注的是实际希望模型做什么，而不是它被训练做什么。它提出的问题是「目标函数是否符合预期」，根据的是模型目标和行为在多大程度上符合人类的期望。假设要训练一个鸟类分类器，将鸟分类为「麻雀」或「知更鸟」，使用对数损失作为训练目标，而最终目标是很高的分类精度。该模型可能具有较低的对数损失，即该模型的能力较强，但在测试集上的精度较差，这就是一个不一致的例子，模型能够优化训练目标，但与最终目标不一致。原始的 GPT-3 就是非一致模型。类似 GPT-3 的大型语言模型都是基于来自互联网的大量文本数据进行训练，能够生成类似人类的文本，但它们可能并不总是产生符合人类期望的输出。事实上，它们的目标函数是词序列上的概率分布，用来预测序列中的下一个单词是什么。但在实际应用中，这些模型的目的是执行某种形式的有价值的认知工作，并且这些模型的训练方式与期望使用它们的方式之间存在明显的差异。尽管从数学上讲，机器计算词序列的统计分布可能是建模语言的高效选择，但人类其实是通过选择最适合给定情境的文本序列来生成语言，并使用已知的背景知识和常识来辅助这一过程。当语言模型用于需要高度信任或可靠性的应用程序（如对话系统或智能个人助理）时，这可能是一个问题。