Topik 2.

Estimasi Titik
1. Statistika Inferensial
Untuk mengetahui karakteristik yang bersifat
numerik dari suatu populasi, observasi terhadap satu
atau lebih variabel acak yang terkait perlu dilakukan.
Hasil observasi ini kemudian dianalisis dengan
menggunakan teknik-teknik tertentu untuk
mengestimasi karakteristik (dalam model parametrik
disebut parameter) populasi atau menguji hipotesis
tentang populasi. Bagian statistika yang membahas
teori estimasi dan uji hipotesis dinamakan statistika
inferensial (inferential statistics).
Estimasi parameter dibedakan menjadi dua
macam, yaitu estimasi titik dan estimasi interval. Bab
ini membahas estimasi titik. Estimasi interval dan uji
hipotesis akan di bahas di bab-bab yang akan datang.
2. Statistik dan Estimator
Pandang variabel-variabel acak terobservasi X
1
, X
2
,
, X
n
. Sebagai contoh adalah sampel acak berukuran
n dari suatu populasi (distribusi).
Definisi 2.1
Sebuah fungsi dari variabel acak terobservasi
T=T(X
1
, X
2
, , X
n
) yang tidak tergantung pada
parameter populasi dinamakan statistik.
Contoh 2.1
Misalkan X
1
, X
2
, , X
n
merupakan sampel acak dari
suatu populasi. Berikut ini dua contoh statistik:
a.
n
n
i
i
n
X
n
X
X X T : ) ,..., (
1
1

, dinamakan sampel mean.

b. 2 1
2
1
:
1
) (
) ,..., ( S
n
X X
X X T
n
i
n i
n

, dinamakan sampel
varians.
Teorema 2.2
Jika X
1
, X
2
, , X
n
, merupakan sampel acak dari
sebarang distribusi dengan mean =E(X
i
) dan
variansi
2
=Var(X
i
) maka
a.
. ) (
n
X E
.
b.
n
X Var
n
2
) (

.
c.
2 2
) ( S E
.
Untuk selanjutnya anggap populasi dimodelkan
dengan variabel acak X yang mempunyai distribusi
dengan fungsi densitas f(x,) dimana
merupakan parameter populasi. Parameter
mungkin berupa vektor. Misalkan () suatu fungsi
dari parameter . Misalkan X
1
, X
2
, , X
n
sampel
acak dari X.
Definisi 2.3
Sebuah statistik T(X
1
, X
2
, , X
n
) yang digunakan
untuk mengestimasi nilai dari () dinamakan
estimator untuk ().
3. Metode-metode Estimasi
3.1 Metode Momen
Prinsip dari metode momen adalah menyamakan
momen ke k dari populasi, yakni E(X
k
), dengan
momen ke k dari sampel, yakni
n
X
n
i
k
i
1 . Estimator
untuk parameter diperoleh dengan menyelesaikan
sistem persamaan
. ,..., 2 , 1 , ) (
1
j k
n
X
X E
n
i
k
i
k

(3.1)
dan akan dinotasikan dengan

~
.
Contoh 3.1
Misalkan X
1
, X
2
, , X
n
, merupakan sampel acak dari
distribusi eksponensial, X~EXP( ) dengan fungsi
densitas

'

<

x e
x
x f
x
0 ,
1
0 , 0
) ; (
/

Karena E(X)= maka, dengan menggunakan rumus

(3.1) dengan mengambil j=1, diperoleh
n
n
i
i
X
n
X

1
~

.
Contoh 3.2
Misalkan X
1
, X
2
, , X
n
, merupakan sampel acak dari
sebarang distribusi dengan mean dan variansi
2
,
maka dengan mudah dapat ditunjukkan bahwa
n
X
~
dan
n
X X
n
i
n i

1
2
2
) (
~

.
Perhatikan bahwa
2 2
1
~
S
n
n

dimana S
2
adalah sampel
varians.
3.2 Metode Maksimum Likelihood
Ide dasar dari metode maksimum likelihood adalah
mencari nilai parameter yang memberi kemungkinan
(likelihood) yang paling besar untuk mendapatkan
data yang terobservasi sebagai estimator.
Definisi 3.1
Fungsi densitas bersama f(x
1
,,x
n
; ) dari variabel-
variabel acak X
1
, X
2
, , X
n
dinamakan fungsi
likelihood.
Untuk x
1
,,x
n
yang tetap fungsi likelihood
merupakan fungsi dari dan akan dinotasikan
dengan L( ), yakni L( )= f(x
1
,,x
n
; ). Jika X
1
, X
2
,
, X
n
adalah sampel acak dari f(x,) maka

n
i
i
x f L
1
) , ( ) (
Definisi 3.2
Misalkan L( )= f(x
1
,,x
n
; ), , merupakan
fungsi densitas bersama dari variabel-variabel acak
X
1
, X
2
, , X
n
. Estimator maksimum likelihood
(Maximum Likelihood Estimator / MLE) untuk ,
dinotasikan dengan

adalah nilai yang

memaksimumkan fungsi likelihood L( ).
Jika merupakan interval terbuka dan jika L( )
terdiferensialkan dan mencapai nilai maksimum pada
maka MLE

merupakan penyelesaian dari

persamaan maksimum likelihood
0 ) (

L
d
d
atau secara ekuivalen

merupakan penyelesaian dari

persamaan maksimum likelihood
0 ) ( ln

L
d
d
Persamaan yang terakhir umumnya lebih mudah
digunakan untuk mencari estimator maksimum
likelihood

.
Contoh 3.3
Misalkan X
1
, X
2
, , X
n
, merupakan sampel acak dari
distribusi Poisson, X~POI( ) dengan fungsi densitas
,... 2 , 1 , 0 ,
!
) ; (

x
x
e
x f
x

Fungsi likelihood

n
i
i
n
x
n
i
i
x
e
x f L
n
i
i
1
1
!
) , ( ) (
1

dan fungsi log likelihood

,
_

n
i
i
n
i
i
x n x L
1 1
! ln ln ) ( ln
.
Persamaan maksimum likelihoodnya adalah
0 ) ( ln
1

n
x
L
d
d
n
i
i

yang mempunyai penyelesaian

n
x

. Jadi MLE dari

adalah
n
X

.
Terdapat kasus dimana estimator maksimum
likelihood ada tetapi tidak dapat diperoleh dengan
menyelesaikan persamaan likelihood.
Contoh 3.4
Misalkan X
1
, X
2
, , X
n
, merupakan sampel acak dari
distribusi eksponensial dengan dua parameter,
X~EXP(1, ) dengan fungsi densitas

'

<

x e
x
x f
x

,
, 0
) ; (
) (
Fungsi likelihood
1
]
1

n
i
i
x L
1
) ( exp ) (
jika x
1:n

dan L( )=0 untuk kasus selainnya. Disini jelas
bahwa MLE untuk adalah
n
X
: 1

.
Teorema 3.3
Jika

adalah MLE dari dan u( ) adalah fungsi

dari maka
)

( u
adalah MLE dari u( ).
4. Kriteria Menilai Estimator.
Berikut ini beberapa kriteria yang sering digunakan
untuk menilai estimator.
Definisi 4.1
Sebuah estimator T dikatakan estimator tak bias
untuk ( ) jika
E(T)= ( )
untuk semua . Jika tidak demikian T dikatakan
estimator bias untuk ( ).
Contoh 4.1
Jika X
1
, X
2
, , X
n
, merupakan sampel acak dari
sebarang distribusi dengan mean =E(X
i
) dan
variansi
2
=Var(X
i
) maka menurut Teorema 2.2
n
X

dan S
2
masing-masing adalah estimator tak bias untuk
dan
2
, karena
. ) (
n
X E
dan
2 2
) ( S E
. Tetapi
estimator
2 2
1
~
S
n
n

pada Contoh 3.2 merupakan
estimator bias untuk
2
karena
2 2 2 2
1
) (
1 1
)
~
(
n
n
S E
n
n
S
n
n
E E

1
]
1

.
Definisi 4.2
Jika T adalah estimator untuk ( ), maka bias dari T
didefinisikan sebagai
b(T)=E(T)- ( )
dan mean squared error (MSE) dari T didefinisikan
sebagai
MSE(T)=E[T- ( )]
2
.
Teorema 4.3
Jika T adalah estimator untuk ( ), maka
MSE(T)=Var(T)+[b(T)]
2
.
Definisi 4.4
Sebuah estimator T* dikatakan estimator tak bias
dengan variansi minimum secara uniform (uniformly
minimum variance unbiased estimator / UMVUE)
untuk ( ) jika
a. T* estimator tak bias untuk ( ), dan
b. Untuk sebarang estimator tak bias T untuk ( ),
Var(T*) Var(T) untuk semua .
Dalam kasus tertentu UMVUE untuk () dapat
ditemukan dengan menggunakan batas bawah
Cramer-Rao (Cramer-Rao lower bound / CRLB).
Teorema 4.5 (CRLB )
Jika T adalah estimator tak bias untuk ( ), maka
2
2
) , ( ln
)] ( ' [
) (
1
]
1

X f nE
T Var
.
Contoh 4.2
Misalkan X
1
, X
2
, , X
n
, merupakan sampel acak dari
sebarang distribusi eksponensial, X~EXP( ) dan
() = . Karena
2
/ ) ( ) , ( ln

x x f
maka dapat ditunjukkan bahwa
2
2
/ 1 ) , ( ln

1
]
1

X f E
,
sehingga CRLB untuk ( ) sama dengan
2
/n. Jelas
bahwa
n
X
merupakan estimator tak bias untuk ( )
= . Selanjutnya dapat ditunjukkan bahwa
n X Var
n
/ ) (
2

. Kesimpulannya
n
X
merupakan UMVUE untuk
( ).
Definisi 4.6Misalkan T dan T* merupakan estimator
tak bias untuk ( ). Efisisensi relatif dari T terhadap
T* didefinisikan sebagai
) (
*) (
*) , (
T Var
T Var
T T re
.
T* dikatakan efisien jika re(T,T*) 1 untuk semua
estimator tak bias T untuk ( ) dan semua .
Jika T* adalah estimator efisien untuk ( ) maka
efisiensi dari estimator tak bias T untuk untuk ( )
didefinisikan sebagai
e(T)= re(T,T*).
5. Sifat-sifat untuk Ukuran Sampel Besar
Definisi 5.1
Barisan estimator {T
n
} untuk ( ) dikatakan
konsisten (simpel konsisten) jika untuk setiap > 0
1 ) | ) ( (| lim <


n n
T P
untuk setiap .
Definisi 5.2
Barisan estimator {T
n
} untuk ( ) dikatakan MSE
konsisten jika
0 )] ( [ lim
2



n n
T E
untuk setiap .
Definisi 5.3
Barisan estimator {T
n
} untuk ( ) dikatakan tak bias
asimtotik jika
) ( ) ( lim
n n
T E
untuk setiap .
Teorema 5.4
Barisan estimator {T
n
} untuk ( ) adalah MSE
konsisten jika dan hanya jika barisan estimator
tersebut tak bias asimtotik dan
0 ) ( lim
n n
T Var
.
Teorema 5.5
Jika barisan estimator {T
n
} untuk ( ) adalah MSE
konsisten maka barisan estimator tersebut juga
simpel konsisten.
Teorema 5.6
Jika barisan estimator {T
n
} untuk ( ) adalah simpel
konsisten dan jika g(t) adalah fungsi yang kontinu
pada setiap nilai dari ( ) maka g(T
n
) simpel
konsisten untuk g(()).
Definisi 5.7
Misalkan {T
n
} dan {T
n
*} merupakan estimator tak
bias asimtotik untuk ( ). Efisisensi relatif asimtotik
dari T
n
terhadap T
n
* didefinisikan sebagai
) (
*) (
lim *) , (
n
n
n n n
T Var
T Var
T T are

.
Barisan {T
n
*} dikatakan efisien secara asimtotik jika
are(T
n
,T
n
*) 1 untuk semua barisan estimator tak
bias asimtotik {T
n
} untuk ( ) dan semua .
Jika {T
n
*} adalah barisan estimator efisien secara
asimtotik untuk ( ) maka efisiensi asimtotik dari
barisan estimator tak bias asimtotik {T
n
} untuk untuk
( ) didefinisikan sebagai
ae(T
n
)= are(T
n
,T
n
*).
Di bawah kondisi tertentu, yang dinamakan
kondisi reguler, estimator maksimum likelihood
n

mempunyai sifat:
a.
n

ada dan tunggal.

b.
n

estimator konsisten untuk .

c.
n

mempunyai limit distribusi normal dengan

mean dan variansi
2
) , ( ln
1
1
]
1

X f nE
.
d.
n

efisien secara asimtotik.

6. Estimator Bayes dan Minimax
Definisi 6.1
Jika T adalah estimator untuk ( ) maka sebarang
fungsi bernilai real dinamakan loss function jika
memenuhi
L(t;) 0 untuk setiap t
dan
L(t;) =0 jika t= ( ).
Definisi 6.2
Risk function didefinisikan sebagai harga harapan
dari loss, yakni
R
T
() =E[L(T;)].
Definisi 6.3
Sebuah estimator T
1
dikatakan better estimator dari
estimator T
2
jika dan hanya jika
) ( ) (
2 1

T T
R R
untuk semua
dan
) ( ) (
2 1

T T
R R <
untuk paling sedikit satu nilai .
Sebuah estimator T dikatakan admissible jika tidak
ada lagi better estimator.
Definisi 6.4
Sebuah estimator T
1
disebut estimator minimax jika
} : ) ( max{ } : ) ( max{
1

T T
R R

untuk semua estimator T .
Definisi 6.5
Untuk sampel acak dari f(x,), Bayes risk dari sebuah
estimator T relatif terhadap risk function R
T
() dan
fungsi densitas p() adalah rata-rata risk terhadap
p(), yakni

d p R R E A
T T T
) ( ) ( )] ( [

.
Definisi 6.6
Untuk sampel acak dari f(x,), Bayes estimator T*
relatif terhadap risk function R
T
() dan fungsi
densitas p() adalah estimator dengan minimum
ekspektasi risk, yakni
)] ( [ )] ( [
*

T T
R E R E
untuk setiap estimator T.
Definisi 6.7
Fungsi densitas bersyarat dari bila diberikan
observasi sampel x=(x
1
, , x
n
) dinamakan posterior
density dan diberikan oleh

d p x x f
p x x f
f
n
n
x
) ( ) | ,..., (
) ( ) | ,..., (
) (
1
1
|
.
Teorema 6.8
Jika X
1
, , X
n
adalah sampel acak dari f(x|) maka
Bayes estimator adalah estimator yang
meminimumkan harga harapan loss relatif terhadap
distribusi posterior dari |x, yakni
)] ; ( [
|

T L E
x
.
7. Kecukupan estimator
7.1 Statistik cukup
Definisi 1.1
Misalkan X=(X
1
, X
2
, , X
n
) mempunyai densitas
bersama f(x,), dimana merupakan vektor
parameter. Statistik S=(S
1
, S
2
, , S
k
) merupakan
statistik cukup gabungan untuk jika untuk
sebarang vektor statistik T yang lain, distribusi
bersyarat dari T diberikan S=s, dinotasikan dengan
f
T|s
(t), tidak tergantung . Dalam kasus dimensi satu S
dinamakan statistik cukup untuk .
Definisi 1.2
Suatu himpunan statistik dikatakan sebagai himpunan
statistik cukup minimal jika anggota-anggotanya
adalah statistik cukup gabungan untuk parameter dan
jika statistik-statistik tersebut merupakan fungsi dari
himpunan statistik cukup gabungan yang lain.
Definisi 1.1 tidak bersifat operasional untuk
menyelidiki bahwa suatu statistik merupakan statistik
cukup. Karena sebarang statistik merupakan fungsi
dari sampel X=(X
1
, X
2
, , X
n
) maka untuk
menyelidiki statistik cukup, cukup ditunjukan bahwa
f
X|s
(x), tidak tergantung .
Contoh 2.1
Misalkan X
1
, X
2
, , X
n
merupakan sampel acak dari
distribusi eksponensial X~EXP(). Disini
0 , exp
1
) ; ,..., (
1
1
>

,
_

i
n
i
i
n n
x
X
x x f

.
Akan ditunjukkan bahwa

n
i
i
X S
1
adalah statistik
cukup untuk . Karena S berdistribusi gamma,
S~GAM( ,n), dengan fungsi densitas
0 ,
) (
1
) ; (
/ 1
>

s e s
n
s f
s n
n S

maka
1
|
) (
) (

n
s X
s
n
s f
tidak tergantung pada . Jadi S merupakan statistik
cukup untuk .
Untuk menemukan suatu statistik cukup dapat
digunakan teorema berikut.
Teorema 1.3
Jika X
1
, X
2
, , X
n
, mempunyai densitas bersama
f(x,) maka S=(S
1
, S
2
, , S
k
) merupakan statistik
cukup gabungan untuk jika dan hanya jika
) ,..., ( ) ; ( ) ; ,..., (
1 1 n n
x x h s g x x f
dimana g(s,) tidak tergantung pada x
1
, , x
n
, kecuali
melalui s, dan h(x
1
, , x
n
) tidak tergantung .
Contoh 2.1
Misalkan X
1
, X
2
, , X
n
merupakan sampel acak dari
distribusi Bernoulli, X~BIN(1,). Disini
) ,..., ( ) ; (
) 1 (
) 1 ( ) ; ,..., (
1
1
1 1
n
s n s
x n x
n
x x h s g
x x f
n
i
i
n
i
i

.
dimana

n
i
i
x s
1
dan h(x
1
, , x
n
)=1. Jadi

n
i
i
X S
1

merupakan statistik cukup untuk .
7.2 Sifat-sifat Statistik Cukup
Teorema 2.1
Jika S
1
, , S
k
adalah statistik cukup gabungan untuk
dan jika

adalah satu-satunya MLE untuk ,

maka

merupakan fungsi dari S

1
, , S
k
.
Teorema 2.2
Jika S adalah statistik cukup untuk maka sebarang
Bayes estimator merupakan fungsi dari S.
Teorema 2.3
Jika X
1
, X
2
, , X
n
merupakan sampel acak dari
sebarang distribusi kontinu dengan fungsi densitas
bersama f(x,) maka order statistik membentuk
statistik cukup gabungan untuk .
Teorema 2.4 (Rao-Blackwell)
Misalkan X
1
, X
2
, , X
n
mempunyai fungsi densitas
bersama f(x,) dan S=(S
1
, S
2
, , S
k
) merupakan
statistik cukup gabungan untuk . Jika T adalah
sebarang estimator tak bias untuk () dan T*=E(T|
S) maka
c. T* adalah estimator tak bias untuk ( ),
d. T* adalah fungsi dari S, dan
e. Var(T*) Var(T) untuk setiap dan Var(T*) <
Var(T) untuk suatu jika tidak benar bahwa
T*=T dengan probabilitas 1.
Dalam kasus tertentu UMVUE untuk () dapat
ditemukan dengan menggunakan batas bawah
Cramer-Rao (Cramer-Rao lower bound / CRLB).
8. Kelengkapan dan Kelas Eksponensial
Definisi 8.1
Keluarga fungsi densitas {f
T
(t, ); } dikatakan
lengkap jika E[u(T)]=0 untuk semua
mengakibatkan u(T)=0 dengan probabilitas 1 untuk
semua .
Sebuah statistik cukup dari anggota keluarga
yang lengkap dinamakan statistik cukup lengkap.
Teorema 8.2 (Lehmann-Scheffe)
Misalkan X
1
, X
2
, , X
n
mempunyai fungsi densitas
bersama f(x,) dan S=(S
1
, S
2
, ,S
k
) satatistik cukup
gabungan untuk . Jika T*=T*(S
1
, S
2
, ,S
k
) adalah
statistik yang tak bias untuk ( ) dan merupakan
fungsi dari S, maka T* adalah UMVUE untuk
( ).
Definisi 8.3
Sebuah fungsi densitas dikatakan termasuk dalam
anggota keluarga eksponensial reguler jika fungsi
densitas tersebut dapat dituliskan dalam bentuk
A x x t q x h c x f
k
j
j j

,
_

, ) ( ) ( exp ) ( ) ( ) ; (
1

dan f(x,)=0 untuk nilai x yang lain, dimana adalah
vektor parameter berdimensi k, jika ruang parameter
berbentuk
={ : a
i

i
b
i
, i=1,,k}
dan jika f(x,) memenuhi kondisi reguler 1, 2, dan 3a
atau 3b, yaitu
1. Himpunan A={x: f(x,) >0} tidak tergantung .
2. Fungsi q
j
( ) tidak trivial, independen, dan
kontinu.
3a. Untuk variabel acak kontinu fungsi turunan
t
j
(x) linear independen dan kontinu.
3b. Untuk variabel acak diskret fungsi t
j
(x) tidak
trivial pada A dan tak satupun yang merupakan
fungsi linear dari yang lain.
Teorema 8.4
Jika X
1
, X
2
, , X
n
merupakan sampel acak dari
anggota kelas eksponensial reguler maka satatistik-
statistik



n
i
i k k
n
i
i
X t S X t S
1 1
1 1
) ( ,..., ) (
adalah himpunan minimal dari statistik cukup
lengkap untuk
1
,,
k
.
semoga bermanfaat.