熵
熵(entropy)描述一个事件不确定性程度的量度。美国数学家申农提出。设X是离散型随机变量，取值是1，a2,…,a,…(至多可列个)，且P,(X=a,)=p,(i=1,2、…),则称“一∑p:lnp,”为X的熵，并记为H(X).即H(X)=一∑pln:(注意，上面式中规定当p:=0时，0·ln0=0)。对于连续型随机变量X,若X~p(x),且积分ーJp(x)lnp(x)dz"有(x)(或X)的。如参数空间⊙={9,2，，0m},若(0e）=1,p(a）=0(当i≠k时)。即日以概率1取是肯定的，于是我们求得熵是H(p(x)=一∑p(0:)·lnp(0:)=O。这是不确定性最小的极端情形。若p(0)=1/n,(:=1,2,…,n)于是有HKpr)=-∑p(ana)=-∑n(分)=in.可见，均匀分布的熵最大。
问念心理：专业级心理学知识库和文献资料库，免费心理学知识与资料分享，专业心理学论文查询。
