shannon发现有一类变化具有一定统计规律即随机不确定，可以通过大量重复性试验得到稳定的发生概率，从而可以用概率计算消除这类不确定性的信息量。基于shannon熵的信息量测度方法主要用于随机型语法信息量计算。信息是事物运动状态及其变化的方式，而世间事物繁多且相互联系，所以事物的状态及其变化一班具有一定的不确定性，即人们不能确切地知道某些状态时候出现或某些变化是否发生。但shannon发现有一类变化具有一定统计规律即随机不确定，可以通过大量重复性试验得到稳定的发生概率，从而可以用概率计算消除这类不确定性的信息量。