第四百七十八章 平均信息量
- 作者:蔡泽禹
- 类型:综合其他
- 更新时间:2021-07-08 17:11:19
- 章节字数:1262字
因此,随机变量所包含的“信息量”和它的“不确定性”其实是同一个概念。一个随机变量越难以确定,它所包含的信息量越多。这种认识对初次接触熵的人来说或许不够自然。但仔细体会一下,确实是有道理的。如果俺想告诉你的事你很容易猜到,或者说你不用问几个问题就能知道,那俺要说的话对你来说就没多少信息量。
在熵的定义里-logP(a)又是什么物理意义呢?当然这个数字可以理解为a编码所需要的比特数(在前面例子里,我们能看到以1/8概率出现的事件,需要用3个比特来编码)。换一个角度理解,-logP(a)可以理解为a的“惊奇度”。一个出现概率极低的事件a,比如世界末日,它一旦出现就会令人非常惊奇,所以对应的-logP(a)就会很大;而如果a出现的概率很大,它的出现就不会太令人吃惊,所以对应的-logP(a)就会很小。因此,熵值H(X)也可以理解为随机变量X的“平均惊奇度”。
【在阅读模式下不能自动加载下一页,请<退出阅读模式>后点击下一页阅读。】
如果随机变量X是在S={1,2,…,M}里取值,那么可以证明,熵值H(X)的取值必定在0和logM之间。当随机变量X在S上均匀分布的时候,H(X)取最大值logM;当X以百分之百的概率取S中的某个数值的时候,H(X)取最小值0。前者对应于“不确定性”最大的X,而后者对应于“不确定性”最小的(即完全可以确定的)X。所以,也可以把熵值H(X)理解为对随机变量X的“不确定性“(或“不可预测性”)的度量。
阅读数学心最新章节 不^格小^说^网 w^w^w\.vb\u\ge\.c^o^m
其他好看的小说:
【天才俱乐部】【穿成恶毒娘,我携巨资带三崽逃荒】【昭奚旧草】【制符人】【从炼丹术开始肝熟练度】【我的1992在延续】【趁校花青涩,忽悠她给我做老婆!】【神州战神】【经营民宿,开局接待武松】【LOL:如果要输,我上去帅一波】【诸天从小阴间开始】【华娱零二平凡影帝】【雌雄同体】【这个训练家的宝可梦过于跳脱】【娱乐:被京圈封杀,千年世家曝光】【星象制卡师:从昴日星官开始】【绝世天龙】【春盼莺来】【仙子的修行】【初唐小闲人】【斗罗之绝世唐门红尘劫】【文娱盛世:只想当咸鱼】【神算小村医】【末世:从加点开始无限进化】【游戏王:决斗者的奇幻冒险】【从遮天开始横行无敌】【青龙血续】【吞噬古帝】【红楼道爷】【退伍兵征服女领导:升迁暗影】