人们进行决策时往往依赖的是基于这些信息的对客观世界的一种主观信念。当其获得客观知识的增加时，理性的当事人会基于这些新增的信息对以往的主观信念做出修改。这样人们在面对不确定性时，其决策可以归结为以下的问题，即在不确定条件下人们的最优决策是什么，是否应该收集信息以及收集多少等。下面将对分别对这些问题进行讨论。
　　信息是个很抽象的概念。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。直到1948年，Shannon等人提出了“信息熵”的概念，才解决了对信息的量化度量问题。在Shannon信息熵的基础上,连续型随机变量的熵是没有意义的(为无穷大)，在信息熵的基础上,应用熵极大化准则对离散状态空间的分布估计作了一定研究,提出了新的算法, 但是均未涉及连续型状态变量的讨论.但Kull back在信息变差的基础上证明了连续分布随机变量的熵的存在性,并定义连续型随机变量的熵。而连续随机变量的熵用离散随机变量的熵来逼近。
　　一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。
　　下面将给出熵的定义及其证明，假设样本空间X有n的基本事件，其基本事件wi的概率为pi,i=1,2,…,n。我们记之为（X；p1, p2... pn）。并且有
　　概率反映了事件发生不确定性的大小，而信息是可以改变不确定性的。消息中所含有用“信息”的量（信息量）是不同的，“信息量”是可以数量化的。在定量地描述“信息量”之前必须对事件的不确定性给出确切的量度。
　　信息论量度信息的基本出发点，是把获得的信息看作用以消除不确定性的东西，因此信息数量的大小，可以用被消除的不确定性的多少来表示。设随机事件A在获得信