Alpaca指令遵循大语言模型

什么是Alpaca

Alpaca是由斯坦福大学开发的大语言模型。它是在LLaMA-7B的基础上精调得到的,使用了5万多条由GPT 3.5生成的样本数据。由于是LLaMA-7B的衍生模型，作者给它起名字为Alpaca——羊驼（曾经的中文互联网网红）。按照GPT的一生中的分类，Alpaca属于第二阶段模型，同阶段的模型还有Vicuna。

这里有必要介绍一下Alpaca开源的动机。作者在官方页面写道：

指令遵循模型仍然存在诸多不足，例如生成虚假信息、传播社会偏见、产生有毒言论。为解决这些紧迫问题，学界的参与至关重要。然而能够用于开放研究的、能力接近OpenAI GPT-3的模型却很难接触的到。

因此，Alpaca的出生就是给大家来研究的。

• 官网：https://crfm.stanford.edu/2023/03/13/alpaca.html
• 代码：https://github.com/tatsu-lab/stanford_alpaca
• 权重：https://huggingface.co/tatsu-lab/alpaca-7b-wdiff?text=My+name+is+Teven+and+I+am

如何获取Alpaca权重

Alpaca权重以补丁的形式存放在HuggingFace，需要使用LLaMA权重来融合以获得。具体步骤可以概括为：

1. 下载并转换LLaMA原始权重，可参考之前的文章“LLaMA大语言模型”。
2. 下载Alpaca权重补丁。
3. 合并LLaMA与Alpaca权重补丁，获得Alpaca权重。

整个过程没有什么难度，注意匹配版本就好。

这里单独列出第三步的执行过程供参考。