天眼查显示，上海燧原科技股份有限公司“一种大语言模型中的推测性解码方法、装置、设备及介质”专利公布，申请公布日为2024年10月1日，申请公布号为CN118734970A。
本发明实施例公开了一种大语言模型中的推测性解码方法、装置、设备及介质。该方法包括：在内存中读取历史文本信息，并传输至计算单元；在计算单元中执行：将历史文本信息输入至预设长度预测器，得到推理长度；将推理长度以及历史文本信息输入至预设推测性解码模型，得到与推理长度相同个数的预测文本信息；将历史文本信息输入至大语言模型中，得到大语言模型输出的目标文本信息；将历史文本信息、目标文本信息以及各预测文本信息输入至大语言模型进行验证，得到推理正确的目标预测文本信息；根据历史文本信息与目标预测文本信息进行迭代训练，得到目标长度预测器和目标推测性解码模型。该方法在推测性解码中考虑了推理长度，可提高模型推理性能。
