Docs

预训练模型Meta Llama

Meta开源的Llama模型目前是业界和学术界最广泛使用的大模型。最新的llama 3模型训练数据量15.0T+ tokens，参数量分为8B和70B，同时包含基础模型和指令微调模型。​

模型	训练数据	参数量	数据量	下载链接
LLaMA	英文CommonCrawl、C4、Github、Wikipedia、Gutenberg and Books3、ArXiv、Stack Exchange	7B	1.0T	暂无
				13B	1.0T	暂无
				33B	1.4T	暂无
				65B	1.4T	暂无
Llama 2	开放的互联网数据，没有详细介绍	7B	2.0T	HuggingFace \| 迅雷网盘
				13B	2.0T	HuggingFace \| 迅雷网盘
				33B	2.0T	官方未开放
				65B	2.0T	HuggingFace
Llama 3		8B、70B	15.0T+	HuggingFace｜百度网盘 \| 在线体验

预训练模型 Code Llama

Code Llama在Llama2的基础上结合代码数据进行训练，分为Base Model、Python Model和Instruct Model三类，参数量包含7B、13B、34B和70B，可以进行代码续写、代码填充和指令编程。​

模型	训练数据	参数量	模型类别	下载链接
Code LLama	在Llama 2的基础上，采用500B tokens的公开代码数据集训练。为了帮助模型保持对自然语言的理解能力，从与代码相关的自然语言数据集中获取了8%的样本数据，包含了许多关于代码的讨论、自然语言问题或答案中的代码片段	7B	基础模型用于代码生成的基础模型 Python版本针对Python语言优化的模型 Instruct版本通过人类指令和合成代码数据微调的模型	HuggingFace
					13B	HuggingFace
					34B	HuggingFace
					70B	HuggingFace

预训练模型 Atom

原子大模型由原子回声联合Llama中文社区研发，基于Llama架构，采用2.7T中文以及多语种语料训练，参数量包含1B、7B和13B，对Llama模型的中文能力做了大幅提升。​

模型	训练数据	参数量	数据量	下载链接
Atom	中文以及多语种的百科、书籍、博客、新闻、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等	1B	2.7T	在线体验 \| API访问
				7B	2.7T	HuggingFace \| ModelScope \| WiseModel \| API访问
				13B	2.7T	在线体验 \| API访问

对话模型

Llama2-Chat模型基于预训练模型进行了监督微调，具备更强的对话能力​

Atom-7B-Chat 基于Llama2进行中文预训练的开源大模型，加强了中文对话能力。​

Llama3-8B-Instruct、Llama3-70B-Instruct基于预训练模型进行了监督微调，具备更强的对话能力。​

Llama3-Chinese-8B-Instruct 基于中文微调的对话模型，加强了中文对话能力。​

🐼 模型下载​