在概率论中,全变差距离(英語:total variation distance)是概率测度的一种距离。它也是一种统计距离度量,有时也称为统计距离(英語:statistical distance)或变差距离(英語:variational distance)。
设
是样本空间
的一个子集上的σ代数,两个概率测度
与
在
上的全变差距离定义为[1]
![{\displaystyle \delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/9ac46b36b546dad8d04ca83247d01fb9213324f3)
粗略地说,这是两个概率分布在同一事件上取值的最大差值。
与其他距离的关系[编辑]
全变差距离通过Pinsker不等式与Kullback-Leibler散度相联系:
![{\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/fd5220fd37274fe423b38bc417e833ac6cf9f2a1)
当样本空间
是可数集的时候,全变差距离与
范数有等式关系[2]:
![{\displaystyle \delta (P,Q)={\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/5c9b654b499d5c8639daa9368fe09fe61249edbf)
参考文献[编辑]
- ^ Chatterjee, Sourav. "Distances between probability measures" (PDF). UC Berkeley. Archived from the original (PDF) on July 8, 2008. Retrieved 21 June 2013.
- ^ David A. Levin, Yuval Peres, Elizabeth L. Wilmer, 'Markov Chains and Mixing Times', 2nd. rev. ed. (AMS, 2017), Proposition 4.2, p. 48.