概率分布间散度的直接逼近

Scidown文献预览系统！

作者：scidown 发布时间：2021-07-08 08:47:56 文章标题：

概率分布间散度的直接逼近( Direct Approximation of Divergences Between Probability Distributions )

文章作者：

M Sugiyama

文章简述：

摘要：在统计学、信息论和机器学习领域中，从两个概率分布的样本中逼近两个概率分布之间的散度是一个基本的挑战，因为散度估计器可以用于各种目的，如两个样本的同质性测试、变点检测和类平衡估计。此外，联合分布与边际乘积之间的散度近似可以用于独立性检验，它在特征选择和提取、聚类、对象匹配、独立分量分析(ICA)和因果关系学习等方面有着广泛的应用。在这一章中，我们回顾了遵循Vladimir Vapnik所倡导的一般推理原理的直接散度近似的最新进展，即一个人不应该解决一个更一般的问题作为中间步骤。更具体地说，直接散度近似避免了在逼近一个散度时分别估计两个概率分布。我们讨论了Kullback-Leibler(KL)散度、Pearson(PE)散度、相对PE(rPE)散度和$L^{2}$-距离的直接近似。尽管KL散度法非常流行，但我们认为后者由于其计算效率高、数值稳定性高和对离群点的鲁棒性而在实际中更有用。

文章下载地址（开放版）：