动态树注意力算法

subornaakter25

来自 GitHub 的 ReDrafter 模型图。
图片来源：GitHub
目前，ReDrafter 已经集成到 Nvidia 的可扩展推理解决方案“TensorRT-LLM”中。该解决方案是一个基于“TensorRT”深度学习编译器框架的开源库，专门用于优化 LLM 推理，并支持类似“Medusa”的推测解码方法。

不过，由于 ReDrafter 的算法使用了以前未使用的算子，Nvidia 添加了新的算子或公开了现有的算子，大大增强了 TensorRT-LLM 适应复杂模型和解码方法的能力。

来自 GitHub 的 TensorRT-LLM 集成图。
图片来源：GitHub
据悉，ReDrafter通过三项关键技术 厄瓜多尔 whatsapp 号码数据 加速大型语言模型（LLM）的推理过程：

RNN 草案模型

知识蒸馏训练
RNN Draft Model是 ReDrafter 的核心部分。它使用循环神经网络 (RNN) 根据 LLM 的隐藏状态预测下一个可能的单词序列。这可以捕获时间依赖性并提高预测准确性。

这个模型的工作方式是：当LLM生成文本时，它首先生成一个初始单词，然后RNN Draft Model以这个单词和LLM最后一层的隐藏状态作为输入进行beam search，生成多个候选单词序列。

与传统的自回归 LLM 每次生成一个单词不同，ReDrafter 可以通过 RNN 草稿模型的预测在每个解码步骤生成多个单词，大大减少了需要调用 LLM 进行验证的次数，从而提高了整体推理速度。

图表展示了 RNN 草稿模型的流程。
图片来源：arXiv
动态树注意力算法是一种优化束搜索结果的算法。