信息论 : 信息论原是由申农和维纳发展起来的通讯理论,主要是为解决通讯编码问题而提出的。信息论提出了对所获信息进行数值测量的方法。信息论的理论也被用于心理学、语言学、神经生理学和生理学等研究领域。按照信息论理论,通讯系统(当然这种模型也可用于其他非通讯系统)一般是由以下几部分组成:

信源在系统的发送端产生信息,信宿最后接受这种信息,信道是把信息从信源传递到信宿的物理介质。信源产生的信息一般不符合信道输入的要求,这就要在发送端通过编码来变换。同样,在接收端就要通过译码以符合接收要求。如果信息是取自离散随机变量集,这个信源就可称为离散信源。不是离散的信源就是连续信源。例如产生字母和数字的信源就是离散信源, 而产生言语和音乐的信源就是连续信源。一个信道的输出并不一定要和输入一致。如果信道的输出在已知输入信息时能够计算出来,那么这个信道就是无噪声的。如果有随机事件使得信道的输出变得不可预测,那么这个信道就是有噪声的。