# FLAN-UL2

## 概述

[Flan-UL2](https://www.yitay.net/blog/flan-ul2-20b) 是一个基于 T5 架构的编码器-解码器模型。它使用了去年早些时候发布的 [UL2](ul2) 模型相同的配置。该模型使用“Flan”提示调优和数据集集合进行了微调。与 `Flan-T5` 类似，可以直接使用 FLAN-UL2 的权重，而无需对模型进行微调：

根据原始博客，主要改进如下：

- 原始的 UL2 模型仅使用 512 的 receptive field 进行训练，这使得它在 N 较大的 N-shot prompting 场景中并非理想选择。
- Flan-UL2 检查点使用 2048 的感受野，使其更适用于少样本上下文学习。
- 原始的 UL2 模型也包含模式切换 token，这对于获得良好的性能而言几乎是必需的。然而，这些 token 使用起来略显繁琐，因为在推理或微调过程中通常需要对其进行一些更改。在本次更新/变更中，我们使用较小的 batch 对 UL2 20B 继续训练了额外的 100k 步，以使其“遗忘”模式 token，然后再应用 Flan 指令微调。这个 Flan-UL2 checkpoint 不再需要模式 token。
Google 发布了以下变体：

原始检查点可以在[此处](https://github.com/google-research/google-research/tree/master/ul2)找到。

## 在低资源设备上运行

该模型相当庞大（半精度下约 40GB），因此如果您只是想运行该模型，请确保以 8bit 加载模型，并使用 `device_map="auto"` 以避免出现 OOM 问题！

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, BitsAndBytesConfig

model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-ul2", quantization_config=BitsAndBytesConfig(load_in_8bit=True), device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-ul2")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['In a large skillet, brown the ground beef and onion over medium heat. Add the garlic']
```

请参阅 [T5 的文档页面](t5) 以获取 API 参考、技巧、代码示例和笔记本。

