小飞侠 - 信息熵、交叉熵、相对熵、条件熵 的评论
信息熵完美编码交叉熵不完美编码相对熵是两者的差值，交叉熵减去信息熵。差值即差异，也即KL散度