博客
关于我
采样计算与期望
阅读量:192 次
发布时间:2019-02-28

本文共 799 字,大约阅读时间需要 2 分钟。

连续型随机变量的期望

连续型随机变量的期望是概率密度函数和其自变量的线性组合。其定义如下:

$$ p(x) p(x) $$为随机变量 ( X ) 的概率密度函数。

期望的计算公式为:$$ E[X] = \int x p(x) dx $$

该公式表明,期望值是对所有可能值与其概率密度的乘积进行积分的结果。


离散型随机变量的期望

对于离散型随机变量,其期望的计算公式为:$$ E[X] = \sum_{i} x_i p_i $$

其中,( x_i ) 是离散型随机变量 ( X ) 的第 ( i ) 个取值,( p_i ) 是对应的概率。


采样与期望估计

在实际应用中,直接计算积分可能存在困难。为了解决这一问题,可以采用蒙特卡洛方法进行估计。

具体步骤如下:

  • 从概率密度函数 ( p(x) ) 中随机采样若干点 ( x_0, x_1, \dots, x_n )。
  • 计算这些点的加权平均值:$$ E[X] \approx \frac{1}{n+1} \sum_{i=0}^{n} x_i $$
  • 该方法利用了概率密度函数 ( p(x) ) 的性质,确保每个样本点被选中的概率与其概率密度成比例。


    KL散度的期望形式

    KL散度(Kullback-Leibler divergence)也可以通过期望形式表示:$$ KL(p(x) \parallel q(x)) = \int p(x) \ln \frac{p(x)}{q(x)} dx $$

    其中,( p(x) ) 和 ( q(x) ) 分别为两个概率密度函数。

    利用蒙特卡洛方法,可以估计KL散度:$$ KL(p(x) \parallel q(x)) \approx \frac{1}{n} \sum_{i=1}^{n} \ln \frac{p(x_i)}{q(x_i)} $$

    这种方法在机器学习和信息论中有广泛应用,用于衡量两个概率分布之间的差异。

    转载地址:http://iwrn.baihongyu.com/

    你可能感兴趣的文章
    mysql中数据表的基本操作很难嘛,由这个实验来带你从头走一遍
    查看>>
    Mysql中文乱码问题完美解决方案
    查看>>
    mysql中的 +号 和 CONCAT(str1,str2,...)
    查看>>
    Mysql中的 IFNULL 函数的详解
    查看>>
    mysql中的collate关键字是什么意思?
    查看>>
    MySql中的concat()相关函数
    查看>>
    mysql中的concat函数,concat_ws函数,concat_group函数之间的区别
    查看>>
    MySQL中的count函数
    查看>>
    MySQL中的DB、DBMS、SQL
    查看>>
    MySQL中的DECIMAL类型:MYSQL_TYPE_DECIMAL与MYSQL_TYPE_NEWDECIMAL详解
    查看>>
    MySQL中的GROUP_CONCAT()函数详解与实战应用
    查看>>
    MySQL中的IO问题分析与优化
    查看>>
    MySQL中的ON DUPLICATE KEY UPDATE详解与应用
    查看>>
    mysql中的rbs,SharePoint RBS:即使启用了RBS,内容数据库也在不断增长
    查看>>
    mysql中的undo log、redo log 、binlog大致概要
    查看>>
    Mysql中的using
    查看>>
    MySQL中的关键字深入比较:UNION vs UNION ALL
    查看>>
    mysql中的四大运算符种类汇总20多项,用了三天三夜来整理的,还不赶快收藏
    查看>>
    mysql中的字段如何选择合适的数据类型呢?
    查看>>
    MySQL中的字符集陷阱:为何避免使用UTF-8
    查看>>