Professional Documents
Culture Documents
= b0 + b1 X , model umum
i i
X Y
1 0
+ atau
i
Y
b0 + b1 Xi , model setiap
pengamatan
Didapatkan eror, yaitu atau i sebagai berikut :
Y Y
= X b b Y
1 0
atau :
i i i i i
X b b Y Y Y
1 0
Secara geometrik, titik-titik hasil eksperimen, model
dan error digambarkan pada grafik berikut ini :
X
Y
45 40 35 30 25 20 15 10
10
9
8
7
6
5
4
3
S 1,32081
R-Sq 65,4%
R-Sq(adj) 58,5%
Fi tted Li ne Pl ot
Y = 2,046 + 0,1705 X
Titik-titik merah adalah nilai hasil eksperimen, di-
notasikan Yi , yang diduga membentuk garis lurus
berwarna biru. Garis inilah model yang akan di-
taksir, dengan cara menaksir koefisiennya, yaitu b0
dan b1, sehingga terbentuk persamaan
i
Y
b0 + b1 Xi.
Garis tegak lurus sumbu horisontal yang menghu-
bungkan titik eksperimen dengan garis lurus dugaan
dinamai error.
Metode least square bertujuan mendapatkan penak-
sir koefisien regresi, yaitu b0 dan b1, yang menjadi-
kan jumlah kuadrat error, yaitu
n
i
i
1
2
sekecil
mungkin. Prosedur metode kuadrat terkecil adalah
sebagai berikut :
i. Membentuk
n
i
i
1
2
sebagai fungsi b0 dan b1,
S = f(b0,b1) =
n
i
i
1
2
= ( )
n
i
i i
X b b Y
1
2
1 0
ii. Mendiferensialkan S terhadap b0 dan b1, kemudi-
an hasil diferensialnya, yaitu
0
b
S
dan
1
b
S
disa-
makan dengan 0.
0
b
S
( )
n
i
i i
X b b Y
1
1 0
0 ) 1 ( 2
( )
) 1 ( ......... ......
0
0
0
1 1
1 0
1 1
1 0
1 1 1
1 0
1
1 0
+
n
i
i
n
i
i
n
i
n
i
i i
n
i
n
i
n
i
i i
n
i
i i
Y X b b n
X b b n Y
X b b Y
X b b Y
1
b
S
( )
n
i
i i i
X X b b Y
1
1 0
0 ) ( 2
( )
n
i
i i i
X X b b Y
1
1 0
0 ) (
n
i
n
i
n
i
i i i i
X b X b X Y
1 1 1
2
1 0
0
n
i
n
i
i
n
i
i i i
X b X b Y X
1 1
2
1
1
0
0
+
n
i
i i
n
i
i
n
i
i
Y X X b X b
1 1
2
1
1
0
........ (2)
Persamaan (1) dan (2) dinamai persamaan normal.
iii. Menghitung b0 dan b1 berdasarkan dua persama-
an yang terbentuk. Dari persamaan (1) didapat-
kan formula b0,
+
n
i
i
n
i
i
Y X b b n
1 1
1 0
b0 = X b Y X b Y
n
n
i
i
n
i
i 1
1
1
1
1
,
_
Formula b0 ini kemudian disubstitusikan ke
persamaan (2),
+
n
i
i i
n
i
i
n
i
i
Y X X b X b
1 1
2
1
1
0
( )
,
_
+
+
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
X Y Y X X X X b
Y X X b X X b X Y
Y X X b X X b Y
1 1 1 1
2
1
1 1
2
1
1
1
1
1 1
2
1
1
1
XX
XY
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
S
S
X n X
Y X n Y X
X X X
X Y Y X
b
2
1
2
1
1 1
2
1 1
1
1
Model regresi linier multiple dinyatakan dengan
persamaan berikut :
Yi = 0 + 1X1i + ... + kXki + i,
dengan model dugaan sbb,
i
Y
n
i
i
1
2
= ( )
n
i
ki k i i
X b X b b Y
1
2
1 1 0
. . . ,
kemudian dideferensialkan terhadap b0, b1, ... bk, dan
hasilnya disamakan dengan nol,
0
b
S
0,
1
b
S
0, . . . ,
k
b
S
0,
Persamaan normal menjadi :
+ + +
n
i
i
n
i
ki k
n
i
i
Y X b X b b n
1 1 1
1 1 0
. . .
+ + + +
n
i
i i
n
i
ki i k
n
i
i i
n
i
i
n
i
i
Y X X X b X X b X b X b
1
1
1
1
1
2 1 2
1
2
1 1
1
1 0
...
.
.
.
+ + + +
n
i
i ki
n
i
ki k
n
i
ki i
n
i
ki i
n
i
ki
Y X X b X X b X X b X b
1 1
2
1
2 2
1
1 1
1
0
...
Untuk mempermudah menghitung penaksir koefisi-
en regresi maka persamaan normal diubah ke ben-
tuk matrik,
1
1
1
1
1
1
1
1
]
1
1
1
1
1
]
1
1
1
1
1
1
1
1
1
]
1
n
i
i ki
n
i
i i
n
i
i
k
n
i
ki k
n
i
i
n
i
ki
k
n
i
i
n
i
i
n
i
i
n
i
ki
n
i
i
Y X
Y X
Y
b
b
b
X X X X
X X X X
X X n
1
1
1
1
1
0
1
2
1
1
1
1
1
1
1
1
2
1
1
1
1 1
1
) 1 ( ) 1 ( + + k k
A
1 ) 1 ( + k
b
=
1 ) 1 ( + k
g
Pada satu matrik dan dua vektor di atas, masing-ma-
sing dinamai : matrik A (berukuran (k+1) (k+1)),
vektor b (berukuran (k+1) 1), dan vektor g (juga
berukuran (k+1) 1), sehingga persamaan normal
menjadi :
A b = g,
dan didapatkan penaksir koefisien regresi, yaitu b :
b = A
-1
g
dengan b = (b0 , b1 , ... , bk)
T
Latihan 1
Buktikan persamaan berikut :
1. ) (
1
X X b Y Y +
2. Buktikan titik ) , ( Y X terletak pada garis regresi.
3.
n
i
i
Y n Y
1
/
2
1
2
1
1 1
2
1 1
1
Formula b1 terdiri dari variabel fixed yaitu X dan
variabel random, yaitu Y, sedangkan yang mempu-
nyai variansi hanyalah variabel random. Untuk itu
formula b1 diupayakan agar antara X dan Y jelas
dan mudah bentuk hubungannya, dan yang akan
diolah hanyalah pembilang, karena pembilanglah
yang memuat Y.
( )( )
( )( ) ( )( ) ( )
( )( ) ( )( )
( )( )
( )( ) ( )( ) ( )( )
n n
n
i
i i
n
i
i
n
i
i i
n
i
i i i
n
i
i i
n
i
i i
Y X X Y X X Y X X
Y X X
Y X X Y X X
Y X X Y X X
Y Y X X Y X n Y X
+ + +
. . .
2 2 1 1
1
1 1
1
1 1
Formula variansi b1 menjadi sebagai berikut :
,
_
,
_
,
_
Y X n Y X
X n X
X n X
Y X n Y X
n
i
i i
n
i
i
n
i
i
n
i
i i
1
2
2
1
2
2
1
2
1
var
1
var
,
_
Y X n Y X
n
i
i i
1
var
( )( ) ( )( ) ( )( ) ( )
n n
Y X X Y X X Y X X + + + . . . var
2 2 1 1
=
( ) ( ) ( ) ( ) ( ) ( )
n n
Y X X Y X X Y X X var . . . var var
2
2
2
2 1
2
1
+ + + =
( ) ( ) ( )
2
2
2
2
2
2
2
1
. . . X X X X X X
n
+ + + =
( )
n
i
i
X X
1
2
2
( )
,
_
,
_
n
i
i
n
i
i
n
i
i
n
i
i i
X X
X n X
X n X
Y X n Y X
1
2
2
2
2
1
2
2
1
2
1
1
var
2
( )
2
2 1
2
2 2 1
2
1
1
2
2
1
2 2 2
2
1 1
2 2 2
1 1 1
1
var
( )
( )
var( ) ; , : var( )
( ) ( ) ( )
n
i i n
i
i n
n
i
i
i
i
i
n
i
i
n n n
i i i
i i i
X Y nXY
X X
X nX
X X
X X
s
b bila tidak diketahui maka menjadi b
X X X X X X
,
,
Penaksir Simpangan Baku (b1) =
1/ 2
2
1
( )
n
i
i
s
X X
_
_
, ,
s
2
= jumlah kuadrat error/n-2
Selanjutnya diuraikan penurunan variansi b0,
b0 = X b Y X b Y
n
n
i
i
n
i
i 1
1
1
1
1
,
_
var(b0) = ) var( ) var( ) var(
1
2
1
b X Y X b Y +
=
+
n
i
n
i
i
i
X X
X Y
n
1 2
1
2
2
) (
)
1
var(
=
+
n
i
n
i
i
i
X X
X Y
n
1 2
1
2
2
2
) (
) var(
1
=
( )
2
1
2
2 2 2 2
2
) (
...
1
X X
X
n
n
i
i
+ + + +
=
2
1
2
2 2
2
) (
) (
1
X X
X n
n
n
i
i
+
,
_
,
_
X X n
X s
n
i
i
n
i
i
3
Penaksir Kovariansi Koefisien Regresi
Review Rumus :
1. E(X) =
X
, E(aX) = a E(X) = a
X
2. var(X) = E(X E(X))
2
= E(X
X
)
2
3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y)
4. cov(X,Y) = E{(X
X
)(Y
Y
)}
5. cov(aX,bY) = E(aX a
X
)(bY b
Y
) = E(ab(X
X
)(Y
Y
)) = ab E(X
X
)(Y
Y
) =
ab cov(X,Y)
6. cov(
1
+
1
X
i
,
2
+
2
X
j
) =
1
2
cov(X
i
,X
j
), buktikan!
Diketahui : Y
i
variabel random saling independen dan identik, dengan var(Y
i
) =
2
, i = 1, 2, ... , n.
Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Y
i.
, sbb :
a =
n n i
n
i
i
Y a Y a Y a Y a + + +
. . .
2 2 1 1
1
, b =
n n i
n
i
i
Y b Y b Y b Y b + + +
. . .
2 2 1 1
1
a
i
dan b
i
masing-masing konstanta.
cov(a,b) = cov(
)) . . . ( ), . . . (
2 2 1 1 2 2 1 1 n n n n
Y b Y b Y b Y a Y a Y a + + + + + +
Lebih mudah melalui var(a + b),
var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b) var(a) var(b)
var(a + b) = var
)) . . . ( ) . . . ((
2 2 1 1 2 2 1 1 n n n n
Y b Y b Y b Y a Y a Y a + + + + + + +
= var((a
1
+ b
1
)Y
1
+ (a
2
+ b
2
)Y
2
+ . . . + (a
n
+ b
n
)Y
n
)
= (a
1
+ b
1
)
2
var(Y
1
) + (a
2
+ b
2
)
2
var(Y
2
) + ... + (a
n
+ b
n
)
2
var(Y
n
)
= (a
1
+ b
1
)
2
2
+ (a
2
+ b
2
)
2
2
+ ... + (a
n
+ b
n
)
2
2
=
2
+
n
i
i i
b a
1
2
) (
var(a) = var
) . . . (
2 2 1 1 n n
Y a Y a Y a + + +
= var((a
1
)Y
1
+ (a
2
)Y
2
+ . . . + (a
n
)Y
n
)
= (a
1
)
2
var(Y
1
) + (a
2
)
2
var(Y
2
) + ... + (a
n
)
2
var(Y
n
)
= (a
1
)
2
2
+ (a
2
)
2
2
+ ... + (a
n
)
2
2
=
2
n
i
i
a
1
2
var(b) = var
) . . . (
2 2 1 1 n n
Y b Y b Y b + + +
= var(b
1
)Y
1
+ (b
2
)Y
2
+ . . . + (b
n
)Y
n
)
= (b
1
)
2
var(Y
1
) + (b
2
)
2
var(Y
2
) + ... + (b
n
)
2
var(Y
n
)
= (b
1
)
2
2
+ (b
2
)
2
2
+ ... + (b
n
)
2
2
=
2
n
i
i
b
1
2
2 cov(a,b) = var(a + b) var(a) var(b)
=
2
+
n
i
i i
b a
1
2
) (
2
n
i
i
a
1
2
n
i
i
b
1
2
=
2
+ +
n
i
i i i i
b a b a
1
2 2
) 2 (
2
n
i
i
a
1
2
n
i
i
b
1
2
=
2
n
i
i i
b a
1
2
cov(a,b) =
2
n
i
i i
b a
1
4
Penurunan cov(b
0
,b
1
)
Cara Pertama,
cov(b
0
,b
1
) = cov
1 1 1 1
(( ), ) cov( , ) Y b X b Y Xb b , digunakan review rumus 6, dengan
1
=
Y
,
1
= X ,
2
= 0, dan
2
= 1.
= cov(
1 1 1
cov( , )) var( ) X b b X b =
2
2
1
( )
n
i
i
X
X X
Cara Kedua,
Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman
operasi variabel random yang sangat baik. Variabel random b
0
dan b
1
masing-masing merupakan fungsi
variabel random Y
i
.
Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b
0
,b
1
); keduanya merupakan fungsi
variabel random Y
i.
.
cov(b
0
,b
1
) =
1 1 1
2 2 1
1 1
( ) ( )
cov ,
( ) ( )
n n
i i i i n
i i
i n n n
i
i i
i i
X X Y X X Y
Y X
X X X X
_
,
2
1
( )
n
i
i
X X
tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap
konstanta, dinotasikan k. Begitu pula dengan
X
, juga konstanta, boleh dikeluarkan dari sigma.
cov(b
0
,b
1
) =
1 1 1
1
( ) ( )
cov ,
n n
i i i i n
i i
i n
i
X X X Y X X Y
Y
k k
_
,
= cov
1
1 1 1
( ) ( )
,
n n n
i i i i i n
i i i
kY X X X Y X X Y
k k k
_
,
= cov
1
1 1 1
( ) ( )
,
n n n
i i i i i n
i i i
kY X X X Y X X Y
k k
_
,
= cov
1
1 1
1 1 1
( ) ( )) , ( )
n n
i i i i n
i i
k X X X Y X X Y
k k k
_ _ _
, , ,
=
2
1
1
1 1 1
( ) ( ) ( )
n
i i n
i
k X X X X X
k k k
_ _ _
, , ,
=
2 2
1
2 2
1
1 1
( ) ( )
n
i i n
i
k X X X X X
k k
_
,
=
2 2
1
2 2
1 1
1 1
( ) ( )
n n
i i n
i i
k X X X X X
k k
_
,
=
2 2
1
2 2
1 1
1 1
( ) ( )
n n
i i n
i i
k X X X X X
k k
_
,
dapat diturunkan bahwa
1
( ) 0
n
i
i
X X
5
=
2 2
2
1
1
( )
n
i
i
X X X
k
_
,
=
2
2
1
( )
n
i
i
X
X X
=
2
2
1
( )
n
i
i
X
X X
cov(b
0
,b
1
) =
2
2
1
( )
n
i
i
X
X X
Y
Setelah didapatkan penaksir koefisien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu
Y
sebagai berikut :
Y
= b0 + b1X (model umum) atau
0 1
i i
Y b b X + (model setiap pengamatan).
Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , maka didapatkan penaksir atau dugaan nilai
respon,
0
Y sebesar :
0 1
i i
Y b b X + .
Selanjutnya dihitung var(
0
Y ),
var(
0
Y ) = var(
0 1 0 1 1 0 1 0
) var( ) var( ( )) b b X Y b X b X Y b X X + + +
=
1 0 1 0
var( ) var( ( ) 2cov( , ( )) Y b X X Y b X X + +
1 0
cov( , ( )) Y b X X =
0 1
cov( , ( ) ) Y X X b = cov
0
1 1
2 1
1
( ) ( )
,
( )
n
i i n
i
i n n
i
i
i
X X X X Y
Y
X X
=
0
2 1 1
2 1
1
( ) ( )
( )
( )
n
i n
i
n n
i
i
i
X X X X
X X
= 0, karena
1
( ) 0
n
i
i
X X
var(
0
Y ) =
1 0
var( ) var( ( ) 0 Y b X X + + =
2 2 2 2
2 0
0 1
2
1
( )
( ) var( )
( )
n
i
i
X X
X X b
n n
X X
+ +
6
Penduga var(
0
Y ) =
2 2 2
0
2
1
( )
( )
n
i
i
X X s s
n
X X
=
2
2 0
2
1
( ) 1
( )
n
i
i
X X
s
n
X X
Penduga simpangan baku
0
Y =
1/ 2
2
0
2
1
( ) 1
( )
n
i
i
X X
s
n
X X