本文共 799 字，大约阅读时间需要 2 分钟。

连续型随机变量的期望

连续型随机变量的期望是概率密度函数和其自变量的线性组合。其定义如下：

$$ p(x) p(x) $$为随机变量 ( X ) 的概率密度函数。

期望的计算公式为：$$ E[X] = \int x p(x) dx $$

该公式表明，期望值是对所有可能值与其概率密度的乘积进行积分的结果。

离散型随机变量的期望

对于离散型随机变量，其期望的计算公式为：$$ E[X] = \sum_{i} x_i p_i $$

其中，( x_i ) 是离散型随机变量 ( X ) 的第 ( i ) 个取值，( p_i ) 是对应的概率。

采样与期望估计

在实际应用中，直接计算积分可能存在困难。为了解决这一问题，可以采用蒙特卡洛方法进行估计。

具体步骤如下：

该方法利用了概率密度函数 ( p(x) ) 的性质，确保每个样本点被选中的概率与其概率密度成比例。

KL散度的期望形式

KL散度（Kullback-Leibler divergence）也可以通过期望形式表示：$$ KL(p(x) \parallel q(x)) = \int p(x) \ln \frac{p(x)}{q(x)} dx $$

其中，( p(x) ) 和 ( q(x) ) 分别为两个概率密度函数。

利用蒙特卡洛方法，可以估计KL散度：$$ KL(p(x) \parallel q(x)) \approx \frac{1}{n} \sum_{i=1}^{n} \ln \frac{p(x_i)}{q(x_i)} $$

这种方法在机器学习和信息论中有广泛应用，用于衡量两个概率分布之间的差异。

转载地址：http://iwrn.baihongyu.com/