Speaker: 李雷研究员

Inviter: 中国科学院数学院学术报告会组委

Title: 两个信息量的计算公式及其意义

Language: Chinese

Time & Venue: 2024.08.30 10:40-11:50 南楼N204 (数学院交流报告会）

Abstract: 我们介绍两个信息量的计算公式和相关的数学理论。第一个信息量是任意一个数据序列的无损压缩下界。以Kraft不等式为第一性原理，对于给定词库，我们证明这个界是Shannon经验熵与参数复杂度之和。第二个信息量是过去和将来的交互信息量，它可以用cepstrum系数或偏相关系数计算，并得到reflectrum等式。我们用过去和将来的交互信息量来定义记忆总量，并刻画长记忆过程，它与算子指标有紧密关系。除了数学理论，我们讨论这两个信息量和大语言模型以及李-杨零点的联系。