本文介绍一篇来自得克萨斯A&M大学的工作，在本文中，作者瞄准的领域是传统的文本压缩算法。作者巧妙地发挥了现有大模型的文本预测能力，例如使用LLaMA-7B对输入的前几个token预测其下一个位置的文本，并且对大模型预测英语熵（entropy of English）的渐近上限进行了全新的估计，估计结果表明，在大模型加持下，该估计值明显低于目前常用方法的估计值。基于这一发现，作者提出来一种基于大模型的英语文本无损压缩算法LLMZip，LLMZip巧妙的将大型语言模型的文本预测能力与无损压缩方案相结合，实现了高效的文本压缩性能，经过一系列的实验表明，LLMZip已经超过了目前最为先进的文本压缩算法，例如BSC、ZPAQ和paq8h。
一、引言
目前以ChatGPT为代表的大模型主要在自然语言领域中的学习和预测等两个方面取得了非常惊人的成就。实际上，学习、预测和压缩三者之间有着非常密切的联系。早在1951年，信息论之父和人工智能先驱克劳德・香农（C.E.Shannon）发表了一篇名为《Prediction and Entropy of Printed English》的论文[1]，在该文中，香农以英语语言为例，深度探索了预测和压缩之间的联系，并且对英语预测熵的上下界进行了估计，下图从香农1951年论文手稿中摘录。 香农认为，可以通过对一段文本中的下一个单词进行预测，我们就可以估计出当前文本所含的信息量，如果预测效果很好的话，就可以将该预测模型转换为一个良好的压缩算法。这一思想在后来的信息论中发挥了重要作用，目前很多用于语音、图像和视频压缩的算法都明确或隐含地利用了这一思想。这种压缩方法的性能在很大程度上取决于预测器的效果，本文作者认为，每当模型预测能力取得重大进展时，我们都有必要研究最新的预测模型对压缩方法是否有影响。因此作者很快就想到，能否使用LLaMA和GPT-4等大模型来得到更好的文本压缩结果和更准确的英语熵估计。作者在实验中选用了LLaMA系列模型中的LLaMA-7B版本，实验数据集选用text8，在text8数据集中的1MB子集中，LLMZip得到的熵估计上界为0.709位/字符，明显低于香农论文中的估计上界。此外，在text8的100KB子集中，LLMZip可以达到0.98位/字符的压缩率，这明显优于目前的SOTA方法。
二、本文方法
2.1 LLMZip的压缩建模
本文所遵循的压缩建模方式与1951年香农提出的估计英语熵的思想几乎相同，主要区别是本文使用了现代的可变长度的单词token来作为基础元素，并且使用大型语言模型来作为预测器，而不是让人来预测句子中的下一个元素。作者使用了一个例子来说明本文的压缩建模方式，给定一个英文文本：“My first attempt at writing a book”。LLMZip的目标是将这个句子转换为长度尽可能短的比特序列，以便可以从比特序列中重建得到原始序列。LLMZip首先使用分词器（tokenizer）将该句子拆分成一系列tokens。随后使用具有记忆功能的语言模型对先前的个token进行观察，然后对句子的下一个token进行预测，具体来说，模型会为下一个token的出现概率生成一个排序好的候选列表，如下图所示。 上图中下一个位置的可能选项有“reading”、“writing”、“driving”、“cooking”等词，LLMZip的做法是计算该句子实际单词（writing）在这个列表中的排名，该排名被定义为R5，作者规定排名顺序从0开始，即概率最大的词排名为 0，第二个最有可能的词排名为1，依此类推，在这个例子中，“writing”的排名是R5 = 1。 随后模型预测窗口向后推进一个位置，此时需要根据第2到第5个单词来预测出第6个单词，如上图所示，在这个例子中，第6个单词的预测结果恰好是候选列表中排名最靠前的单词，因此排名R6 = 0。以此类推，我们可以发现这样预测下来的排名预测是1，0，0，....这样的包含很多0的数字序列，这种序列通常可以使用标准的无损压缩算法（例如zip，霍夫曼编码）进行压缩。 当对输入文本进行重建时，首先需要解压缩得到token排名列表，然后使用与压缩阶段相同的LLM对输入token进行预测，并使用解压得到的排名来确定预测输出，进而得到完整的解压文本。
2.2 LLMZip的压缩比
令表示由个字母组成的英语句子，LLMZip首先将解析为由表示的一系列tokens，在压缩阶段，将token送入到大模型中进行预测，可以得到下一个预测token的概率质量函数（probability mass function，PMF）:随后可以得到当前输入文本的PMF向量的降序排列：，并通过转换为从1到的整数序列：此时，是token在当前预测候选列表中的排名，整体压缩方案的示意图如下图所示：
[1] Claude E Shannon, “Prediction and entropy of printed english,” Bell system technical journal, vol. 30, no. 1, pp. 50–64, 1951.
[2] Thomas M Cover and Joy A Thomas, Elements of Information Theory, Wiley, New York, 1999.
[3] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample, “Llama: Open and efficient foundation language models,” 2023.