통계학에서 추정량(推定量, 영어: estimator)은 표집값들로부터 모수의 값을 추정하는 방법이다.
확률변수
가 모수
를 가지는 분포를 따른다고 하자. 그렇다면 모수
의 추정량
은 임의의 가측 함수이다.
모수 공간
와 표본 공간
둘 다 유클리드 공간의 부분공간으로 간주하자.
표본
에 대한, 모수
의 추정량
의 오차(영어: error)는 다음과 같다.
![{\displaystyle {\mathcal {E}}_{\hat {\theta }}(x)={\hat {\theta }}(x)-\theta }](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/381a9e4a2de7a26532b2db74bfb7feadf467bf7a)
모수
의 추정량
의 편향(영어: bias)은 그 오차의 기댓값이다.
![{\displaystyle B({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)-\theta )}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/103900873a1449a520ef7792797855fedc844ba9)
모수
의 불편추정량(영어: unbiased estimator)
은 편향이 0인 추정량이다. 즉, 다음 성질을 만족시키는 추정량이다.
![{\displaystyle \operatorname {E} ({\hat {\theta }}(X))=\theta }](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/6a7fea82cf96158a4fdbd75304e1f4dc22754299)
추정량
의 누적평균제곱오차(영어: mean squared error)는 오차의 제곱들의 기댓값이다.
![{\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}]}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/417dbfbffbfb10d0ec206111ec09d7cfc8996c5d)
표본
에 대한, 모수
의 추정량
의 표본편차(영어: sampling deviation)는 다음과 같다.
![{\displaystyle d(x)={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }}(X))={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }})}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/9c8dc2d091f2ef114cfab6751300754aa96e5c7a)
모수
의 추정량
의 분산(영어: variance)은 표본편차의 제곱의 기댓값이다.
![{\displaystyle \operatorname {var} ({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)^{2})-\operatorname {E} ({\hat {\theta }}(X))^{2}}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/872f6e9a336f645384a776f9167c103d1995bfff)
모수
의 추정량
의 효율(영어: efficiency)은 다음과 같다.
![{\displaystyle e({\hat {\theta }})={\frac {1}{{\mathcal {I}}_{X}(\theta )\operatorname {var} ({\hat {\theta }})}}}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/c9ab7cc364f4fd2edb6b87704869a4030577894d)
여기서
는 피셔 정보이다. 크라메르-라오 하한에 따라, 추정량의 효율은 항상 1 이하이다.
![{\displaystyle e({\hat {\theta }})\leq 1}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/05c69e7dcc17ad937afed94dd953ae9627af6b1d)
효율이 1인 추정량을 최대효율추정량(영어: most efficient estimator)이라고 한다.
모수
의 약한 일치추정량(영어: weakly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열
이다. 모든
에 대하여,
![{\displaystyle \lim _{n\to \infty }\Pr(|{\hat {\theta }}_{n}(X)-\theta |<\epsilon )=1}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/6df4dbdc2c8453068db1e7f2cadbe1dbd790b0b3)
모수
의 강한 일치추정량(영어: strongly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열
이다.
- 거의 확실하게,
이면 ![{\displaystyle {\hat {\theta }}_{n}\to \theta }](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/46fb5cd820de624378e6bd255adbf25bce6961eb)
모수
의 점근적 정규 추정량(영어: asymptotically normal estimator)은 다음 성질을 만족시키는 추정량들의 열
이다. 어떤
에 대하여,
![{\displaystyle {\sqrt {n}}({\hat {\theta }}_{n}-\theta ){\xrightarrow {\text{D}}}{\mathcal {N}}(0,V)}](http://178.128.105.246/content-https-wikimedia.org/api/rest_v1/media/math/render/svg/a57f610f3c93df7cb72045b04c50c1dfbbac5e30)
여기서
는 확률변수의 분포수렴이며,
는 평균이 0이고 분산이
인 정규분포이다.
- Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6.
- Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X.