什么是渐近等分性
随机变量长序列的一种重要特性,是编码定理的理论基础,简称AEP。当随机变量的序列足够长时,其中一部分序列就显现出一种典型的性质:这些序列中各个符号的出现频数非常接近于各自的出现概率,而这些序列的概率则趋近于相等,且它们的和非常接近于1,这些序列就称为典型序列。其余的非典型序列的出现概率之和接近于零。序列的长度越长,典型序列的总概率越接近于1,它的各个序列的出现概率越趋于相等。渐近等分性即因此得名。
C.E.仙农最早发现随机变量长序列的渐近等分性,并在1948年发表的论文《通信的数学理论》中把它表述为一个定理。后来,B.麦克米伦在1953年发表的《信息论的基本定理》一文中严格地证明了这一结果,因此,有人也把它称为麦克米伦定理。
渐近等分性有许多不同的具体形式,但一般地可以表述如下:若X是一个符号表,共有M个不同的符号x1,x2,…,xM ,它们的出现概率分别是p1,p2,…,pM 。对X进行N次独立的选择,于是得到一个长度为N的符号序列;总共有MN个长度为N的不同序列。可以证明,对于给定的两个任意小的数ε>0和δ>0,一定可以找到一个正整数N0(它是X,ε和δ的某种函数),使所有长度为N≥N0的序列可划分为以下两组。第一组包含Aε<MN个序列,其中各个序列都具有几乎相等的出现概率p,且有
1-ε<p·Aε<1
和
式中H是X的符号熵。实际上,当N充分大时,Aε=2NH。第二组包含其余的MN-Aε个序列,它们的出现概率之和小于ε。显然第一组包含的是典型序列,第二组包含的是非典型序列。在各个符号的概率不相等的情况下,序列长度N越大,则Aε与MN的差别越大,而p·Aε与1的差别越小,-logp/N与H的差别也越小。
渐近等分性的意义在于:对于任意取有限个值的随机变量X,当用N次独立选择的方法来形成编码序列时,只要N 取得足够大,就可以只考虑其中Aε个典型序列,而其余所有的非典型序列均可以忽略。
-
无所作为是什么意思?
意思是:作为:做出成绩。指工作中安于现状;缺乏创造性。成语名字:无所作为成语发音:wúsuǒzuòwéi成语解释:作为:做出成绩。指工作中安于现状;缺乏创造性。成语出处:宋朱熹《朱子语类》:“然黄帝亦曾用兵战斗,亦不是全然无所作为也。”成语繁体:無所作為常用程度:常用成语...
-
谩不经意是什么意思?
意思是:谓随随便便不放在心上。谩,通“漫”。成语名字:谩不经意成语发音:mànbùjīngyì成语解释:谓随随便便不放在心上。谩,通“漫”。成语出处:明·张居正《乞鉴别忠邪以定国事疏》:“今谓皇上谩不经意,一切委之于臣,何其敢于厚诬皇上邪?”成语繁体:謾不經意感情色彩:中...
-
驷之过隙是什么意思?
意思是:语出《墨子·兼爱下》:“人之生乎地上之无几何也,譬之犹驷驰而过隙也。”后用以喻光阴飞逝。成语名字:驷之过隙成语发音:sìzhīguòxì成语解释:语出《墨子·兼爱下》:“人之生乎地上之无几何也,譬之犹驷驰而过隙也。”后用以喻光阴飞逝。成语出处:语出《墨子·...
-
永矢弗谖是什么意思?
意思是:决心永远牢记着。成语名字:永矢弗谖成语发音:yǒngshǐfúxuān成语解释:决心永远牢记着。成语出处:《诗经卫风考盘》:“独寐寤言,永矢弗谖。”成语繁体:永矢弗諼感情色彩:中性成语成语用法:作谓语;指永不忘记成语结构:偏正式成语产生年代:古代成语“永矢弗谖”是什...