1.
香农,通信祖师爷,1948年发表的论文《通信的数学理论》,从此才有了信息论这个专业,他开启了一个学科。
(同志们,世界的尽头是数学。)
而香农在开创信息量之前,就留下了被誉为二十世纪最高水平的硕士论文——
《继电器与开关电路的符号分析》
被视作今天计算机最底层设计的开端。
简单来说,香农也是计算机的开拓者。
通信原理的抽象公式基本都有香农的贡献,对传播学最大的贡献是引入了反馈这个词,
我严重怀疑老爷子是穿越的(狗头)
2.
我们现在很火的AI就用到了信息熵。
3,
香农在哈特莱的研究基础上完成公式,他把对数的底从10变成了2,以2为底,很符合他用0和1描述世界的逻辑,二进制从这里出现,然后苏联开始研究三进制
香农公式,一定存在某种方法使在发送速率小于信道极限传输速率的信道保证可靠传输。
信道容量就是最大互信息,互信息是一个测度,是一个随机变量包含另一个随机变量信息量的度量
4.
什么是好的通信?
是接受到的信息和对方发送的一模一样,不会漏掉哪个词让你听不懂,
不确定自己听到的对不对,就叫疑义度,H(X丨Y),是损失掉的,
散布度H(Y丨X),是噪声引入的
损失的越少,听到的信息就越大,传输过程中,理论上能传输的最大互信息,就是channel capacity,信道容量
降噪耳机也是一样的道理,噪声是可以被克服的
5.
Arikan首先解决的是BEC信道,也叫二进制擦除信道,binary erasure channel
Erasure 擦除,这是信号损失的形象说法,这个信道只有两种可能,要嘛擦除,接收端完全收不到信号,要嘛成功,完整传达,不存在传达部分
按照网上大佬的解释,我简单一点跟大家说一下,
假设有P的概率被擦除,那么成功传输的概率是1-p,前面我们讲过,信道容量的定义是最大互信息,他证明信道容量c就是1-p
1是必然事件,p是不确定因素
由于为p的信息在信道中损失,我们最多只能传输1-p,假设p是0.5,那就最多可以让一半的信息无疑义的传输成功
但能不能达成1-p就是香农所谓的极限?
我们来了解一个词,异或,
(异或是一种二进制数□□算,两个相同的数据异或,结果永远为0:不同得为1)
(异或就是信息内容的差别集合,通过这一步,信道带有全部信息。类似调制解调器)
(伽罗瓦二元域里加和减是一样的运算,这里的异或就是伽罗瓦域里的加法。)
Arikan教授用两个BEC信道进行一种操作,U2直接传输信道二,U1在传输信道一之前,与U2异或得到X1,
再传,
也就是U1异或U2得到X1,
U2=X2
这样做的目的是使信息传输最大化,把信息按照约定编码标记拆分传输再根据编码组合达到更低的丢失率,压缩数据通过不同信道传输提高抗干预和传输速率
异或有个很厉害的特性,A异或B后得到C,
假如再将C和B异或,就能还原A
我们靠这个公式进行解码
还是刚刚的两个信道,我们收到两个信号,Y1和Y2,那么,如何还原U1U2呢?
BEC信道的特点是,只要传输成功,那就是正确的,那么
已知X1异或U2=U1
X1=Y1
X2=Y2=U2
那么,U1=Y1异或Y2
将计算合并,只有U1=Y1异或Y2这个结论,那么就创造了一个新的信道,在这个信道里,信息传输成功的概率变成了1-p乘1-p
被擦除的概率就是1-p的平方
假设p是0.5,那么这个新信道的信息将有0.75的概率被擦除
相较于一开始的概率0.5,这个新信道明显变差
既然有一个差信道,那么就有一个好信道
从刚才的U2入手,也得到一个新信道,这个信道的擦除率只有0.25,是目前最好的信道
如果按照这个安排增加信道,仅仅用八个信道相连,通过异或,出现了擦除率为0.0039的信道。
那么,只要将有效信息都编码在好信道里,舍弃无用的差信道,信息就能无损。
6.
在编程中用异或来实现不借用第三个变量让两个变量交换数值。
7
通信工程专业学在我这里就是天书。
明天见嗷!~