一,香农第一定理(无失真信源编码定理,可变长无失真信源编码定理)
香农第一定理的意义:将原始信源符号转化为新的码符号,使码符号尽量服从等概分布,从而每个码符号所携带的信息量达到最大,进而可以用尽量少的码符号传输信源信息。
二,香农第二定理(有噪信道编码定理)
当信道的信息传输率不超过信道容量时,采用合适的信道编码方法可以实现任意高的传输可靠性,但若信息传输率超过了信道容量,就不可能实现可靠的传输。
信道容量是指:在无失真的情况下,信道的最大传输速率是多少?
香农给出了答案
最佳不等长编码:(1)香农编码(2)哈夫曼编码