微信号

功能介绍

前沿学堂最新报道

马斯克、扎克伯格纷纷下场撕OpenAI

ChatGPT 持续升温让各大科技公司坐不住了。

上周，Meta「开源」了新的大模型——LLaMA​（Large Language Model Meta AI），参数量从 70 亿到 650 亿不等。比很多大模型参数更少，但性能更好，一经发布让开发者兴奋不已。

比如，130 亿参数的 LLaMA 模型「在大多数基准上」居然胜过参数量 1750 亿的 GPT-3，最重要的是可以在单颗 V100 GPU 运行；最大的 650 亿参数的模型几乎可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B！

参数量的减少对开发者和企业应用都是好事，但 LLaMA 真像论文说的那么好吗？和 ChatGPT 相比，LLaMA 是否可以一战？研究者对这一模型进行了测试。

LLaMA 初步评测

评测结果来自一位名叫 @Enryu 的 Medium 作者。比较了 LLaMA 和 ChatGPT 在解释笑话、零样本分类和代码生成三个颇具挑战性的任务中的效果。

在 RTX 3090/RTX 4090 上运行 LLaMA 7B/13B 版本，在单个 A100 上运行 33B 版本。

与 ChatGPT 不同，模型并不是基于指令微调，因此 prompt 的结构也不同。

解释笑话

这是谷歌原始 PaLM 论文中展示的一个用例：给出一个笑话，让模型来解释它为什么好笑。任务需要将世界知识和一些基本逻辑相结合。PaLM 之前的所有模型都无法做到这一点。作者从 PaLM 论文中提取了一些示例，比较了 LLaMA-7B、LLaMA-13B、LLaMA-33B 与 ChatGPT 的表现。

结果并不如人意。测试模型虽然get 到了一些笑点，但无法真正理解其含义，它们只是应付似的随机生成了一些文本流。ChatGPT 虽然和 LLaMA-33B 一样表现很差（其他几个模型更差），但它遵循了不一样的策略：生成了一大堆文本，希望自己的回答至少有一部分是正确的（但大部分显然不是），是不是很像大家考试时的策略？我尽量多写一点，万一蒙对了呢？

零样本分类

第二项任务更具挑战性 —— 标题党（clickbait）分类。连人类也无法就什么是标题党达成一致，作者在 prompt 中为这些模型提供了一些示例

下图为 LLaMA-7B、LLaMA-13B、LLaMA-33B 与 ChatGPT 的更多示例结果。

很明显，赢家为 LLaMA-33B，它是唯一一个能够遵循所有请求格式（yes/no）的模型，并且预测合理。ChatGPT 也还可以，但有些预测不太合理，格式也有错误。较小的模型（7B/13B）不适用于该任务。

代码生成

虽然 LLM 擅长人文学科，但在 STEM 学科上表现很差。LLaMA 虽然有基准测试结果，在代码生成领域测试者尝试了一些特别的东西，把人类语言零样本转换为 SQL 查询。这并不是很实用，在现实生活中直接编写查询会更有效率。这里只作为代码生成任务的一个示例。

作者提供表模式（table schema）以及想要实现的目标，要求模型给出 SQL 查询。ChatGPT 看起来效果更好。

从测试结果来看，LLaMA 在一些任务上表现还不错，但在另一些任务上和 ChatGPT 还有一些差距。如果能像 ChatGPT 一样加入一些「训练秘籍」，效果会不会大幅提升？

加入 RLHF，初创公司 Nebuly AI 开源 ChatLLaMA 训练方法

虽然 LLaMA 发布之初就得到众多研究者的青睐，但是少了 RLHF 的加持，从上述评测结果来看，还是差点意思。

在 LLaMA 发布三天后，初创公司 Nebuly AI 开源了 RLHF 版 LLaMA（ChatLLaMA）的训练方法。它的训练过程类似 ChatGPT，该项目允许基于预训练的 LLaMA 模型构建 ChatGPT 形式的服务。项目上线刚刚 2 天，狂揽 5.2K 星。

ChatLLaMA 训练过程算法实现主打比 ChatGPT 训练更快、更便宜，我们可以从以下四点得到验证：

• ChatLLaMA 是一个完整的开源实现，允许用户基于预训练的 LLaMA 模型构建 ChatGPT 风格的服务；
• 与 ChatGPT 相比，LLaMA 架构更小，但训练过程和单 GPU 推理速度更快，成本更低；
• ChatLLaMA 内置了对 DeepSpeed ZERO 的支持，以加速微调过程；
• 该库还支持所有的 LLaMA 模型架构（7B、13B、33B、65B），因此用户可以根据训练时间和推理性能偏好对模型进行微调。

图源：https://openai.com/blog/chatgpt

更是有研究者表示，ChatLLaMA 比 ChatGPT 训练速度最高快 15 倍。

不过有人对这一说法提出质疑，认为该项目没有给出准确的衡量标准。

项目刚刚上线 2 天，还处于早期阶段，用户可以通过以下添加项进一步扩展：

• 带有微调权重的 Checkpoint；
• 用于快速推理的优化技术；
• 支持将模型打包到有效的部署框架中。

Nebuly AI 希望更多人加入进来，创造更高效和开放的 ChatGPT！

此外还有倡导分布式开源AI发展的FreeAI.io，在其官网上用中英文发布了倒计时！显示其将推出一个叫FreeChat的项目，不知道是什么，感兴趣的小伙伴可以关注一下。

​

谢谢楼主！

路过，支持一下啦

鼓励一下

不错不错，楼主您辛苦了。。。

真的很不错

我是个凑数的。。。

顶上去

我是个凑数的。。。

对我非常有用

帮帮顶顶！！

小手一抖，积分到手！

小手一抖，积分到手！

我抢、我抢、我抢沙发~

回帖鼓励！

找到好贴不容易，我顶你了，谢了

飘过

不错

帮助顶上去！

帮帮顶顶！！

学习到了

不错不错，楼主您辛苦了。。。

不错，支持下楼主

好好 学习了 确实不错

真的很不错

顺路回复赚点积分

飘过

不错，支持下楼主

沙发！沙发!

好好 学习了 确实不错

谢谢楼主！

找到好贴不容易，我顶你了，谢了

回帖鼓励！

真的很不错

不错，支持下楼主

感谢分享！

不错不错，很好哦

路过，学习下