想让大模型在prompt中学习更多示例，这种方法能让你输入更多字符
我们知道在使用 GPT 和 LLaMA 等大型语言模型时，输入的 prompt 存在字符数限制，比如 ChatGPT 目前的输入字符限制是 4096 个字符。这会限制上下文学习和思维链等技术的发挥空间，毕竟用户只能提供有限的示例数量。近日，Nous Research、EleutherAI 和日内瓦大学的一个研究团队提出了一种扩展上下文窗口的方案 YaRN ，并在实验中取得了优于其它所有方法的效果，而且他们还发布了使用 YaRN 微调过的 LLaMA 2 7B/13B 模型，其上下文窗口为 64k 和 128k。
机器之心 · 2023-09-13 15:37:00
