小飞侠 - 信息熵、交叉熵、相对熵、条件熵 的评论
type: channel
link: http://kexue.love/index.php/archives/222/
description: 信息熵完美编码交叉熵不完美编码相对熵是两者的差值，交叉熵减去信息熵。差值即差异，也即KL散度