LLM Augmented LLMs

LLM Augmented LLMs通过将现有基础模型与更具体的模型进行组合，实现新的能力。CALM（Composition to Augment Language Models）引入模型之间的交叉注意力，以组合它们的表示并实现新的能力。其显著特点包括：（i）通过“重用”现有LLMs以及少量额外参数和数据，在新任务上扩展LLMs的规模；（ii）保持现有模型权重不变，因此保留现有的能力；（iii）适用于不同的领域和设置。实验证明，将PaLM2-S与在低资源语言上训练的较小模型进行增强，在诸如翻译成英语和低资源语言的算术推理等任务上，结果绝对改善了高达13%。类似地，当PaLM2-S与特定于代码的模型进行增强时，在代码生成和解释任务上，相对于基础模型，我们看到了高达40%的改进，与完全微调的对应模型不相上下。

需求人群：

"适用于需要对语言模型进行扩展和增强的编程任务"

使用场景示例：

在代码生成和解释任务中，将PaLM2-S与特定于代码的模型进行增强

在低资源语言上训练的较小模型进行增强，结果绝对改善了高达13%的翻译任务

适用于需要对语言模型进行扩展和增强的编程任务

产品特色：

通过重用现有LLMs和少量额外参数和数据，在新任务上扩展LLMs的规模

保持现有模型权重不变，因此保留现有的能力

适用于不同的领域和设置