NAMA ANGGOTA KELOMPOK:

UPIK SUSILOWATI 111810101012

DYAH KIKI LANGIT C 111810101019
SELLA AJI OKTARIN 111810101023

TUGAS RESUME MODEL STATISTIKA LINIER

3.1 Model Linear

Membahas tentang prinsip dasar dari penilaian dengan kudrat terkecil. Misal Y
menunjukkan variabel terikat yang berhubungan dengan K yang masing-masing variabelnya
1 , oleh fungsi f. Dan ketika hubungannya tidak tepat, maka dapat ditulis persamaan 3.1
= (1 , , ) +
Dan ketika f linear persamaan 3.1 menjadi persamaan 3.2
= 1 1 + + +
Hal diatas dinamakan model regresi linear.
Untuk mempertimbangkan suatu permasalahan dari penilaian dan pengujian hipotesis di
dapat menggunakan beberapa asumsi. Prosedur umum untuk penilaian dari

( ) = ( )
=1 =1

Untuk fungsi M, beberapa contoh () = || dan () = 2 . Untuk memperkecil suatu

fungsi dari e seperti | | > di t. Lihat kasus () = 2 yang menggunakan teori
kudrat terkecil selanjutnya dapat menggunakan fungsi lain yang lebih sesuai dengan
situasinya.
3.2 Metode Kuadrat Terkecil (OLS)
Misalkan B merupakan semua kemungkinan dari vektor dan kita punya = . Akan
ditemukan vektor = (1 , , ) dari B yang memperkecil penjumlahan dari kudrat sisa

() = 2 = = ( ) ( )
=1

() = + 2
Dapat diperoleh
()
= 2 2

 2 ()
= 2
2
Dengan menyamakan turunan pertama ke nol maka akan didapatkan Persamaan Normal.
=
Jika X adalah pangkat tertinggi K, maka adalah nonsingular dan solusiunik
(3.11) adalah
= ( )1
Jika X bukan pangkat tertinggi dari K, persamaan(3.11) memiliki beberapa solusi
= ( ) + (1 ( ) )
Teorema 3.1
(i) = , prediksi empiris dari y, yang mempunyai beberapa nilai untuk semua
solusi b dari = .
(ii) (), penjumlahan dari kudrat bagi di atas, mencapai minimum untuk solusi
manapun dari = .

3.3 Aspek Geometri dari OLS

Untuk matrik X, kita definisikan ruang kolom
() = {: = , }
1
Yang mana adalah suatu ruang bagian . Jika kita memilih norm |||| = ( ) 2 untuk
, kemudian prinsip kudrat terkecil sama halnya dengan meminimalkan || 0||
untuk (). Secara geometris, kita memiliki situasi seperti yang ditunjukkan pada
Gambar 3.1. kemudian kita mengikuti berikut:

3.1 gambar aspek geometris dari (), ()( = 3 = 2)

Teorema 3.2
Nilai minimum dari || 0|| untuk () dicapai di pada saat ( ) (). Ketika
adalah ortogonal untuk semua vektor di (), yangmana ketika adalah proyeksi
ortogonal dari y di (). ada dan unik, dan mempunyai pernyataan eksplisit
= = ( )
Dimana = ( ) adalah operator proyeksi ortogonal pada ().
Catatan1:
Jika pangkat () = < , adalah mungkin untuk menemukan matriks U dari derajat
( ) x dan pangkat sehingga ( ) ( ) = {0}, di mana 0 adalah
vektor null.Dalam kasus seperti itu, + adalah pangkat tertinggi K, ( + )1
adalah invers dari dan solusi dari persamaan normal ( ) = adalah:
= ( + )1( + )
Dimana U adalah sembarang, proyeksi dapat ditulis
= ( + )1 . Dalam beberapa situasi mudah untuk menemukan
matriksU yang memenuhi kondisi di atas sehingga invers dari dapat dihitung sebagai
invers reguler dari matriks non singular.

Catatan 2:
Solusi di atas juga dapat diperoleh sebagai nilai kuadrat terkecil ketika pembatas =
untuk sembarang . Untuk membuktikan ini, kita hanya perlu menguji bahwa memenuhi
persamaan.
= ( + )1 ( + )
= ( + )1 =
Benar dari gambaran hasil (iv) TeoremaA.81.

Catatan3:
Mungkin dari beberapa solusi dapat menggunakan pendekatan kalkulus dengan membedakan
( ) ( ) + ( )
sehubungan dengan dan , dimana adalah pengali Lagrange, yang memberikan persamaan
= +
Menghasilkan solusi untuk .
3.4 Estimator Linier Tak Bias Terbaik
3.4.1 Teorema Dasar
Pada Bagian 3.1 melalui 3.3, dapat dilihat masalah model linier y = X + e sebagai salah satu
pas fungsi X untuk y tanpa membuat asumsi pada e. Dengan mempertimbangkan e sebagai
variabel acak dinotasikan dengan , menghasilkan asumsi pada distribusi, dan membahas
estimasi dianggap sebagai parameter vektor yang tidak diketahui. Asumsi-asumsi yang
biasa dibuat adalah
E () = 0, E () = 2
dan X adalah tetap atau matriks nonstochastic dengan ordo T K, dengan rank penuh K.
Dapat membuktikan dua lemmaindependen yang menarik dalam teori estimasi
dan menggunakannya dalam kasus khusus memperkirakan oleh fungsi linear dari Y.

Lemma 3.3
(Rao, 1973a, p. 317) Misalkan T statistik sedemikian rupa sehingga E(T) =,
V (T) <, V (.) Menunjukkan varians, dan di mana adalah parameter skalar. Kemudian
syarat perlu dan syarat cukup T adalah MVUE (varians minimum estimator tak bias) dari
parameter adalah
Cov (T,t) = 0 sehingga E(t) = 0 dan V(t) =

Lemma 3.4
Jika Ti0 ,adalah MVUE untuk i , i= 1,.....k, kemudian T0 adalah MDUE pada dan
sebaliknya, Lemma tetap benar jika estimator dibatasi untuk kelas tertentu yang tertutup
terhadap penjumlahan, seperti semua fungsi linear dari pengamatan.
Menggabungkan lemma 3.3 dan 3.4, dapat diperoleh karakterisasi persamaan mendasar
MDUE t dari dengan nilai 0 tertentu:
Cov (, |0 ) = 0 sehingga E(|) = 0 (3.23)
yang kita gunakan dalam mengestimasi parameter dalam model linier. Jika ada t di mana
(3.23) berlaku untuk semua 0, maka kita memiliki estimator global optimum. Teori dasar
persamaan (3.23) dan aplikasi pertama diberikan dalam Rao (1989).
Kita kembali pada model linier
y = +
Dengan E() = 0, D() = E( ) = 2 , dan membahas estimasi untuk . Misalkan a+by
merupakan fungsi linier dengan ekspektasi nol , maka
E ( + ) = + = 0
= 0, = 0 atau R (Z)
dimana Z adalah matriks yang kolom rentang ruang ortogonal untuk R (X) dengan rank (Z) =
T - rank (X). Dengan demikian, kelas semua fungsi linear dari y dengan ekspektasi nol
adalah
() =
Dimana c adalah sembarang vektor
Kasus 1: Rank (X) = K. Rank (Z) = T - K dan (XX) nonsingular, dengan invers(X X)-1.
Teorema 3.5
MDLUE The (berisi estimator minimum dispersi linear) dari adalah
= ( )1
yang sama dengan kuadrat estimator , dan minimum dispersi matriks

2 () 1
Bukti :
Misalkan a + By menjadi estimater objektif dari . Kemudian
E(a + By) = + = = 0 , = (persamaan ii)

Jika By adalah MDLUE, dengan menggunakan (persamaan i), itu sudah cukup bahwa
0 = cov (, )
= 2
= 0 = (persamaan iii)

Dengan demikian kita memiliki dua persamaan untuk B dari (persamaan ii) dan (persamaan
iii) :

= , =

Dengan mensubstitusikan untuk B ke =

A ) = = ( )1, = ( )1
MDLUE yang telah diketahui
= = ( )1
Dengan matriks disperse
D( ) = (( )1 )
= ( )1 () ( )1
= 2 ( )1 ( )1 = 2 ( )1
yang membuktikan Teorema 3.5

Teorema 3.6
Misalkan menjadi s fungsi linear dari sehingga R (L) ( ), menyiratkan L = A
untuk beberapa A. Kemudian MDLUE dari adalah , dimana = ( ) , dan


dispersi matriks dari adalah 2 ( ) , di mana ( ) adalah setiap invers g dari .
Bukti:
Misalkan Cy menjadi estimator tak bias dari . Kemudian
E () = = =
Sekarang
Cov(, ) = 2 = 0 =
Kemudian = = = , = ( ) =
= ( ) X. MDLU dari
Cy = ( ) X y =
Perhatikan bahwa bukanlah perkiraan . Namun, dapat digunakan untuk menghitung
estimasi terbaik dari fungsi parametric yang diduga dari .

3.4.2 estimasi linear

Tugas statistik sekarang adalah untuk memperkirakan kebenaran, tetapi tidak diketahui
vektor dari parameter regresi pada model (3.24) atas dasar pengamatan (y, X) dan asumsi
yang sudah dinyatakan. Hal ini dilakukan dengan memilih estimator yang cocok, yang
kemudian akan digunakan untuk menghitung bersyarat harapan E (y | X) = X dan perkiraan
untuk 2 varians error. sekarang
untuk memilih estimator yang linear di y, yaitu,
= +
di mana C: K T dan d: K 1 adalah matriks nonstochastic yang akan ditentukan
dengan meminimalkan fungsi risiko yang dipilih sesuai.
Definisi 3.7
disebut estimator homogen dari jika d = 0, jika B tidak disebut homogen.
Pada Bagian 3.2, kita telah mengukur kebaikan model fit dengan jumlah tersebut dari kuadrat
kesalahan S (). Analog dengan yang kita definisikan, untuk variable acak ,fungsi kerugian
kuadrat.
L = ( , , ) = ( )( )
dimana A adalah simetris dan 0 (yaitu, setidaknya nonnegatif pasti) K K-matrix. (Lihat
Teorema A.36-A.38 mana definisi dari A> 0 untuk kepastian positif dan A 0 untuk
kepastian non-negatif diberikan.)
Jelas kerugian (3,39) tergantung pada sampel. Dengan demikian kita harus
mempertimbangkan
rata-rata atau diharapkan kerugian atas semua sampel yang mungkin, yang kita sebut risiko.

Definisi 3.8
Risiko kuadrat estimator dari didefinisikan sebagai
R = ( , , ) = ( )( )
Langkah selanjutnya sekarang menemukan sebuah estimator yang meminimalkan Fungsi
kuadrat risiko atas kelas fungsi yang tepat. Oleh karena itu harus mendefinisikan kriteria
untuk membandingkan estimator.
Definisi 3.9
2estimator disebut R (A) superior atau R (A)-perbaikan atas
(R (A) superioritas) Sebuah
1 dari jika
estimator
R (1 , , ) R (2 , , ) 0

3.4.3 Mean Dispersion Error

Risiko kuadrat berkaitan erat dengan kriteria matriks-terhormat
berarti kesalahan dispersi (MDE) dari estimator. The MDE didefinisikan sebagai matriks
M( , ) = ( )( )
ditunjukkan matriks kovarians dari estimator oleh V ( ):

V( ) = ( ( )) ( ( ))
= , maka akan disebut berisi (untuk ). Jika E ( )
Jika E ( ) , maka adalah
dan adalah
disebut bias. Perbedaan antara E ( )
Bias (( , ) = ( ) )
Jika tidak bias, maka jelas Bias ( , ) = 0.
Dekomposisi berikut kesalahan rata-rata dispersi sering terbukti menjadi berguna:

M( , ) = [( ( )) + (( ) )][ ( ( )) + (( ) )]

= V( ) + ( ( , )) ( ( , ))
MDE dari sebuah estimator adalah jumlah dari matriks kovarians dan bias kuadrat (dalam
versi matriks, yaitu, ( ( , )) ( ( , ))

Keunggulan MDE
Sebagai MDE berisi semua informasi yang relevan tentang kualitas estimator, perbandingan
antara estimator yang berbeda dapat dibuat atas dasar matriks MDE mereka.
Definisi 3.10
(MDE I kriteria) Misalkan 1 dan 2 menjadi dua estimator dari . Kemudian 2 disebut
MDE-unggul 1 (atau 2disebut MDE-perbaikan untuk 1) jika perbedaan matriks MDE
mereka tak negatif yang pasti, jika
(1 , 2 ) = M(1 , ) - M(2 , ) 0 (persamaan iv)
Fungsi Risiko kuadrat (3.40) hanya versi skalar-terhormat MDE:
R ( , , ) = tr {AM ( , )} (persamaan v)
Teorema 3.11
Pertimbangkan dua estimator 1 dan 2 dari . Berikut dua pernyataan yang setara:
(1, 2 ) 0
R (1 , , ) R (2 , , ) = tr {A (1 , 2 )} 0
untuk semua matriks dari tipe =
Bukti:
Dengan menggunakan (persamaan iv) dan (persamaan v) kita mendapatkan
R (1 , , ) R (2 , , ) = tr {A (1 , 2 )}
Dari Teorema A.43 berikut bahwa tr {A (1 , 2 )} 0 untuk semua matriks = 0
jika dan hanya jika (1 , 2 ) 0.
3.5 Estimasi (Prediksi) error dan 2
Model linier (3.24) dilihat sebagai dekomposisi untuk observasi y ke dalam suatu variable
tetap atau nonstokastik X yang disebut signal dan variable random atau stokastik yang
disebut error. Sehingga kita memiliki nilai X oleh X akibatnya nilai prediksi dengan nilai
yang sebenarnya harus sama (residual)

Dimana Px = X(XX)-X adalah projection operator pada R(X) sebagai (X) sebagai
estimator , dengan mean prediksi error

Teorema 3.12 MDLU (minimum dispersion linier unbiased) predictor adalah yang
ditetapkan dalam (3.51)
Bukti :
Misalkan Cy predictor takbias maka

Jika penyebaran error

Ambil I-C=M sehingga

Sedemikian hingga PX dan Z merentang pada , kita tuliskan

Didapatkan

Dengan persamaan saat B=0 , maka

Dan predictor terbaik adalah

Dengan menggunakan estimasi pada kita dapat menentukan estimator tak bias 2

Sedemikian hingga rank(X)=r

3.6.1 Metode Maksimum Likelihood
Definisi :
Misalkan = (1,2,,n) adalah variable acak dengan kepadatan fungsi f(;) dimana
parameter vector = (1,2,,m) adalah elemen parameter ruang yang terdiri atas
semua nilai yang dapat diterima
L() = L (1,2,,m) = f(0;)
Yang merupakanfungsi likelihood pada yang diberikan oleh 0
3.6.2 Estimasi Maksimum Likelihood pada Regresi Normal Klasikal
Berdasarkan teorema A.82, kita dapatkan y dari (3.58) bahwa fungsi likelihood pada y
diperoleh

Karena transformasi logaritma adalah monoton , sehinggal akan tepat pada maksimum ln
L(, 2 ) daripada L(, 2 )

Jika tidak ada batasan utama dalam parameter maka ruang parameter diberikan oleh

Kita peroleh estimasi maksimum likelihood pada dan 2 dengan menyamadengankan

turunan pertama menjadi nol (Teorema A.91-A.95)

Persamaan likelihoodnya

Nilai harapan asimptotik (Teorema A.102) adalah

Teorema 3.14
Maksimum likelihood estimator dan OLS estimator adalah sama seperti pada model (3.59)
regresi normal klasikal. Maksimum likelihood estimator 2 pada 2 adalah amsitotik tak bias.
3.6 Classical Regression Under Normal Errors
Jika diberikan () = 0 dan ( ) = 2 . Kita asumsikan bahwa vektor kesalahan acak

Berdistribusi T-dimensi yang berdistribusi nomal N(0, 2 I), dengan fungsi kepadatan

1 1
(; 0, 2 ) = (2 2 )2 exp ( 2)
2 2
=1

1
= (2 2 )2 exp {22 =1 2 } (3.56)

Perhatikan komponen ( = 1, , )yang independen dan identik berdistribusi (0, 2 ) .Ini

adalah kasus umum T-dimensi distribusi normal (, ) dengan kepadatan
1
1
(; , ) = {(2) ||}2 exp { 2 ( ) 1 ( )} (3.57)

Model regresi linear klasikdi bawah kesalahan normal diberikan oleh

= +
~(0, 2 ) (3.58)
Xnonstokastik, rank(X) = K

3.6.1 Prinsip Maximum Likelihood (ML)

Definisi 3.13:Jika = (1 , , ) adalah variable acak dengan fungsi kepadatan (; ),
dimana parameter vektor = (1 , , ) adalah element dari ruang parameter yang
terdiri dari semua nilai-nilai yang dapat diterima.
Prinsip maksimum likelihood adalah untuk mempertimbangkan fungsi (; ) untuksampel 0
dari sebagai fungsi :
() = (1 , , ) = (0 ; )
()disebut sebagai fungsi Likelihood bagi yang diberikan 0
Prinsip ML postulat pilihan nilai yang memaksimalkan fungsi kemungkinan,yaitu,
) ()untuk semua
(
Perhatikan bahwa mungkin tidak unik. Jika kita mempertimbangkan semua sampel yang
mungkin, maka adalah fungsi dari dan demikian variabel acak itu sendiri. Kita akan
menyebutnya penaksir kemungkinan maksimum dari .
3.6.2 ML Estimation in Classical Normal Regression
Setelah Teorema A.82, kita miliki untukydari(3.58)
= + ~(, 2 ) (3.59)
sehingga fungsi kemungkinany diberikan oleh

1
(, 2 ) = (2 2 )2 exp {22 ( ) ( )} (3.60)

Karena transformasi logaritmik monoton, adalah tepat untuk memaksimalkan lnL(, 2)

bukannya L(, 2), sebagai argumen memaksimalkan tetap tidak berubah:
1
(, 2 ) = (2 2 ) ( ) ( ) (3.61)
2 22

Jika tidak ada pembatasan pada parameter, maka ruang parameter yang diberikan oleh =
{; 2 ; 2 > 0}. Kami memperoleh estimator ML dari dan 2 dengan
menyamakan turunan pertama ke nol (Teorema A.91-A.95):
1
(i) = 22 2 ( ) = 0 (3.62)

1
(ii) = 22 + 2(2 )2 ( ) ( ) = 0 (3.63)
2

Persamaan kemungkinan diberikan oleh

(i) = (3.64)
1
(ii) 2 = ( ) ( )

Persamaan(I) (3.64) identik dengan persamaan yang normal terkenal (3.11). Solusinya adalah
unik, karena rank (X) =K dan kita mendapatkan estimator MLyang unik
= = ( )1 (3.65)
Jika kita membandingkan (II) dengan estimators2 berisi (3,55) untuk 2, kita melihat
langsung bahwa
2
2 = (3.66)

Sehingga 2 yang merupakan estimator bias. Harapan asymptotic diberikan oleh (lih.
TeoremaA.102(i))
lim ( 2 ) = ( 2 ) = E( 2 ) = 2 (3.67)
Dengan demikiankita dapat menyatakan hasil sebagai berikut.
Teorema3.14 kemungkinan maksimum estimator OLS dan estimator adalah identik dalam
model (3.59) regresi yang normal klasik. The ML estimator 2 dari 2 adalaha simtotik bias.
Catatan: TheCram'er-Rao mendefinisikan batas bawah (dalam arti kepastian matriks) untuk
matriks kovarians berisi estimator terikat. Dalam model regresi normal, Cram'er-Rao terikat
diberikan oleh
V() 2 ( )1
Mana merupakanestimator yang sewenang-wenang. Kovarians matrik estimator ML
hanya identik dengan hal ini batas bawah, sehingga badalah dispersi estimator berisi
minimum dalam model regresi linier di bawah kesalahan normal.

3.7 Pengujian Hipotesis Linier

Dalam bagian ini kita akan mempertimbangkan masalah pengujian hipotesis linier umum
0: =
Dengan R sebuah matrik Kxs dan Rank (R) = K s, berlawanan dengan hipotesis alternatif
1:
Dimana akan diasumsikan bahwa R dan r adalah nonstochastic dan diketahui. Hipotesis H0
menyatakn fakta bahwa parameter vektor memenuhi (K s) pembatasan linier yang tepat,
yang bebas linier karena diperlukan bahwa Rank (R) = (K s). Hipotesis linier umum berisi
dua kasus khusus utama:
Kasus 1 = 0
R matrik kxk adalah reguler oleh asumsi Rank (X) = k dan kita dapat menyatakan H0
dan H1 dalam bentuk berikut:
0: = 1 =
1:
Kasus 2 > 0

Kita memilih matrik G sxK melengkapi R tersebut bahwa matrikn KxK ( ) adalah

reguler dari Rank K. Misal
1
( ) = = ( 1 , 2 )

1 = , 2
=
1 ( )1
Kemudian dapat ditulis dengan
= + = 1 1 + 2 2 +
 Model terakhir memenuhi semua asumsi hipotesis H0 dan H1 dengan demikian setara
dengan
0: 2 = ; 1 2 > 0
1: 2 ; 1 2 > 0

Dengan mengunakan uji statistika yaitu perbandingan likelihood

()
() =
()

2 2
() = ( 2 )

Dimana 2 dan 2 adalah ML estimators dari 2 dibawah H0 dan didalam .

Variabel acak () dapat mengambil nilai antara 0 dan 1. Jika H0 benar, pembilang ()
harus lebih besar dari penyebut sehingga () harus mendekati 1 dalam sampel berulang.
Disisi lain () harus mendekali 0 jika H1 benar.
Pertimbangan transformasi linier ():
2 2
= .
2
Jika 0, maka , 1, 0 sehingga F deket ke 0 jika H0 benar dan F
cukup besar jika H1 benar.
Sekarang kita akan menentukan F dan distribusi untuk dua kasus khusus hipotesis linier
umum.
Kasus 1, = 0
ML estimator dibawah H0 diberikan oleh
1
= 2 = ( ) ( )

ML estimator diatas
1
= 2 = ( ) ( )

Didapat
(2 2 ) = ( ) ( )
Yang mengarah ke uji statistik
 ( ) ( )
=
( ) ( )
Rasio F memiliki properti sebagai berikut:
F didistribusikan sebagai , (( ) ( )) dibawah H1 dan
F didistribusikan sebagai pusat , dibawah H0 : =
Daerah penerimaan dari H0 :0 ,,1
Daerah kritis : > ,,1

Kasua 2 : > 0
Selanjunya kita akan mempertimbangkan dekomposisi model untik menentukan estimator
ML dibawah H0 dan membandingkan yang sesuai dengan estimator ML diatas .

Estimator ML dibawah H0 kemudian di berikan oleh

2 = , 1 = (1 1 )1 1
Dan
1
2 = ( 1 1 ) ( 1 1 )

= ( 1 , 1() )
dan berturut-turut

= + = 1 1 + 2 2 +

Kita atur sehingga,

= 2

Dekomposisi dari 2

Kita tulis (dengan menggunakan symbol u dan v)

( ) = ( 2 1 1 ) (1 (1 1 ) + 2 (2 )
=

Demikian dengan decompose perkiraan ML T 2 = ( ) ( )

( ) ( ) = + 2

( ) ( ) = + 2

= ( 1 1 ) ( 1 1 ) (2 ) (2 )

Atau ( 2 2 ) = (2 ) (2 )
 (2 ) (2 )
=
( ) ( )
Uji statistik F didistribusikan dibawah H1 sebagai , ((2 ) (2 )) dan
sebagai pusat , dibawah H0
Wilayah penerimaan H0 pada tingkat signifikan kemudian diberikan oleh
0 ,,1
Dengan demikian daerah kritis H0 diberikan oleh
> ,,1