中国科学院数学与系统科学研究院

科研进展与学术交流报告会

（第78期）

报告人：李雷 研究员（系统科学研究所）

题  目：两个信息量的计算公式及其意义

摘  要：我们介绍两个信息量的计算公式和相关的数学理论。第一个信息量是任意一个数据序列的无损压缩下界。以Kraft不等式为第一性原理，对于给定词库，我们证明这个界是Shannon经验熵与参数复杂度之和。第二个信息量是过去和将来的交互信息量，它可以用cepstrum系数或偏相关系数计算，并得到reflectrum等式。我们用过去和将来的交互信息量来定义记忆总量，并刻画长记忆过程，它与算子指标有紧密关系。除了数学理论，我们讨论这两个信息量和大语言模型以及李-杨零点的联系。

时  间：2024.8.30(星期五), 10:40-11:50

地  点：南楼204会议室，腾讯会议534-8268-8299