Docs

【最新】Llama3全套学习资料

输入“/”快速插入

【最新】Llama3全套学习资料

🍉

Llama3看这一个文档就够了！持续更新中。。。

🌵

Llama3权威资料汇总

Meta Llama全系列模型官方文档：https://llama.meta.com/docs/get-started

Llama中文社区Llama3在线体验：https://llama.family/chat/#/

Llama3模型详细信息

📌

Llama 3是一个自回归语言模型，使用了改进过的Transformer架构。指令微调版本采用了监督式微调（SFT）和基于人类反馈的强化学习（RLHF），来对齐模型的有用性和安全性。​

📌

8B模型和70B模型均采用了分组查询注意力机制（Grouped-Query Attention，GQA），来提高模型推理的可扩展性。​

📌

Llama 3在超过15万亿个分词的公开数据上进行了预训练。微调数据包括了公开的指令数据集，以及超过1000万个人类标注的示例。预训练和微调数据集都不包括Meta的用户数据。​

📌

8B模型的预训练数据的截止日期为2023年3月，70B模型为2023年12月。​

快速体验Llama3

Meta AI官方提供了Llama3的体验，但是需要Facebook账号才可以登录，对网络有要求。

Llama中文社区提供了国内首个在线体验平台，链接：https://llama.family/chat/#/