UJIAN AKHIR SEMESTER

PEMILIHAN MODEL REGRESI TERBAIK DENGAN

MENGGUNAKAN:

Regresi Bertatar (Stepwise Regression)

Pendekatan Langkah Mundur (Backward Elimination)
APRE (All Posible Regression Evaluation)

PENGAJAR:
TOTO WARSA, IR., MS.

Oleh
Ade Setiawan
1502 2006 0003

ILMU TANAH PERTANIAN

PROGRAM PASCASARJANA
UNIVERSITAS PADJADJARAN UNPAD
2007

1
DATA

A sociologist investigating the recent upward shift in homicide trends throughout the
United States studied the extent to wich the homicide rate per 100.000 population (Y) is
associated with population size (X1), the percent of families with yearly incomes less than
$5,000, and the rate of unemployment (X3). Data are provided in the table for a
hypotetical sampel of 20 cities.

City X1 X2 X3 Y
1 587 16.5 6.2 11.2
2 643 20.5 6.4 13.4
3 635 26.3 9.3 40.7
4 692 16.5 5.3 5.3
5 1248 19.2 7.3 24.8
6 643 16.5 5.9 12.7
7 1964 20.2 6.4 20.9
8 1531 21.3 7.6 35.7
9 713 17.2 4.9 8.7
10 749 14.3 6.4 9.6
11 7895 18.1 6.0 14.5
12 762 23.1 7.4 26.9
13 2793 19.1 5.8 15.7
14 741 24.7 8.6 36.2
15 625 18.6 6.5 18.1
16 854 24.9 8.3 28.9
17 716 17.9 6.7 14.9
18 921 22.4 8.6 25.8
19 595 20.2 8.4 21.7
20 3353 16.9 6.7 25.7

SOAL:
Carilah model regresi terbaik antara Y, X1, X2, X3 pada taraf uji 5% dan 10% dengan
menggunakan step:
a. Regresi Bertatar
b. Pendekatan Langkah Mundur
c. APRE (All Posible Regression Evaluation)

2
Jawaban:
A. Regresi Bertatar (Stepwise Regression)
Langkah 1. Matriks Korelasi
X1 X2 X3 Y
X1 1
X2 -0.16378 1
X3 -0.23341 0.815418 1
Y -0.0671 0.839778 0.864841 1

Dari matriks di atas, variabel X3 paling tinggi nilai korelasinya dengan variabel
respons Y, rx3y = 0.865. Dengan demikian, variabel X3 yang pertama dimasukkan ke
dalam persamaan regresi.

Sumber Variasi Db JK RJK Fhit F.05 F.10 R2

Regresi (X3) 1 1387.59972 1387.59972 53.41 * 4.41 3.01 0.75
Residu 18 467.602282 25.98
Total 19 1855.202

Uji F secara keseluruhan untuk variabel X3 menunjukkan bahwa bahwa persamaan

regresi ini nyata secara statistik dengan R2 = 0.75.

Langkah 2: Menghitung koefisien korelasi parsial orde ke-1 untuk

memilih variabel selanjutnya (X1 dan X2)
ryx1 − ryx3 .rx1x3 0.839778 − (0.864841 )(0.815418)
ryx1 x3 = ryx2 x3 =
[(1 − r )(1 − r
2
yx3
2
x1 x3 )] 1
2 (1 − (0.864841) )(1 − (0.815418) )
2 2

= 0.463047
0.0671 − (0.864841 )(-0.23341)
ryx1 x3 =
(1 − (0.864841) )(1 − (-0.23341) )
2 2
ryx2 2 x3 = 0.2144123
= 0.276047

ryx2 1 x3 = 0.076202

Dari perhitungan di atas, tampak bahwa koefisien korelasi parsial variabel X2 paling
tinggi, sehingga variabel X2 dimasukkan ke dalam model.

3
Langkah 3 : Mengevaluasi model Y = ƒ(X3, X2)

Analisis Varians Regresi Parsial

Sumber Ragam DB JK RJK F-hit F 0.05 F 0.10 R2
Regresi (X3, X2) 2 1487.859 743.9297 34.43 * 3.59 2.64 0.802
R(X2|X3) 1 100.2597 100.2597 4.64 * 4.45 3.03
R(X3|X2) 1 179.5199 179.5199 8.31 * 4.45 3.03
Residu 17 367.3426 21.60839
Total 19 1855.202 97.64221

Model Persamaan baru Y = f(X3, X2)

Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 0.802*

Persamaan ini mempunyai R2 = 80.2% dan nyata. Terdapat peningkatan nilai

koefisien determinan dari R2 = 75% menjadi R2 = 80,2% dengan dimasukkannya
variabel X2 ke dalam model. Nilai F-parsial variabel X3 dan X2 juga nyata, sehingga
kedua variabel tersebut harus dipertahankan. Langkah selanjutnya adalah memeriksa
layak tidaknya variabel X1 dimasukkan ke dalam model.

Langkah 4. Menguji Variabel yang belum dimasukkan (Variabel X1)

Evaluasi model Persamaan baru Y = f(X3, X2, X1)
Analisis Varians Regresi Parsial
Sumber Ragam DB JK RJK F-hit F 0.05 F 0.10 R2
Regresi (X3, X2, X1) 3 1518.145 506.0483 24.02 * 3.24 2.46 0.8183
R(X1| X2, X3) 1 30.28554 30.28554 1.44 tn 4.49 3.05
R(X2| X1, X3) 1 94.91292 94.91292 4.51 * 4.49 3.05
R(X3| X1, X2) 1 200.3465 200.3465 9.51 * 4.49 3.05
Residu 16 337.0571 21.06607
Total 19 1855.202 97.64221

Dari ketiga nilai F-parsial, baik pada taraf nyata 5% maupun taraf nyata 10%,
ternyata variabel X3 yang terkecil dan tidak signifikan, sehingga harus dikeluarkan
dari persamaan. Dengan demikian, variabel yang terpilih adalah X2 dan X3 dan
prosedur regresi bertahap selesai, dengan persamaan akhir:

Persamaan Y = f(X3, X2):

Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.2%*

4
II. Metode Backward Elimination (BE)
Langkah 1 : Bentuk persamaan lengkap dan analisis varians tertera di
bawah ini :

Evaluasi model Persamaan Y = f(X3, X2, X1)

Yˆ = -36.76492528 + 0.000762937 X 1 + 1.192174211 X 2 + 4.719821372 X 3

Analisis Varians Regresi Parsial

Sumber Ragam DB JK RJK F-hit F 0.05 F 0.10 R2
Regresi (X3, X2, X1) 3 1518.145 506.0483 24.02 * 3.24 2.46 0.8183
R(X1| X2, X3) 1 30.28554 30.28554 1.44 tn 4.49 3.05
R(X2| X1, X3) 1 94.91292 94.91292 4.51 * 4.49 3.05
R(X3| X1, X2) 1 200.3465 200.3465 9.51 * 4.49 3.05
Residu 16 337.0571 21.06607
Total 19 1855.202 97.64221

Dari tabel Analisis Varians F-Parsial, tampak bahwa Variabel X1 mempunyai Nilai F-
parsial terkecil dan tidak nyata, sehingga harus dikeluarkan dari model.

Langkah 2. Mengevaluasi model tanpa menyertakan Variabel X3:

Y = f(X2,X3)

Analisis Varians Regresi Parsial

Sumber Ragam DB JK RJK F-hit F 0.05 F 0.10 R2
Regresi (X3, X2) 2 1487.859 743.9297 34.43 * 3.59 2.64 0.802
R(X2|X3) 1 100.2597 100.2597 4.64 * 4.45 3.03
R(X3|X2) 1 179.5199 179.5199 8.31 * 4.45 3.03
Residu 17 367.3426 21.60839
Total 19 1855.202 97.64221

Model Persamaan baru Y = f(X3, X2):

Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.20% *

Model persamaan ini nyata dengan Nilai F hitung keseluruhan 34.3* (nyata baik pada
taraf 5% maupun pada taraf 10%) dengan nilai koefisien determinan, R2 = 80.2% dan
nyata. Nilai F-parsial variabel X3 dan X2 juga nyata, sehingga kedua variabel tersebut
harus dipertahankan. Karena tidak terdapat lagi variabel yang dikeluarkan dari
Model, maka persamaan akhir Regresi dengan pendekatan langkah mundur adalah:

Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.20% *

5
III. Metode All Posible Regression Evaluation (APRE)
Model persamaan yang terbentuk sebanyak 23 = 8 model persamaan. Model-model
persamaan tersebut adalah:

No Model Persamaan Jumlah Variabel

1 Y = β0 Tanpa Variabel Xi
2 Y = β0 + β1X1 1 Variabel Xi
3 Y = β0 + β1X2
4 Y = β0 + β1X3
5 Y = β0 + β1X1 + β2X2 2 Variabel Xi
6 Y = β0 + β1X1 + β2X3
7 Y = β0 + β1X2 + β2X3
8 Y = β0 + β1X1 + β2X2 + β3X3 3 Variabel Xi

Dengan menggunakan bantuan Microsoft Excel, diperoleh:

No Model Persamaan 100.R2 %

1 Y = 20.57
2 Y = 20.57 - 0.067098 X1 0.45 %
3 Y = 20.57 + 0.839778 X2 70.52 %
4 Y = 20.57 + 0.864841 X3 74.80 %
5 Y = 20.57 + 0.072382 X1 + 0.851633 X2 71.03 %
6 Y = 20.57 + 0.142525 X1 + 0.898108 X3 76.72 %
7 Y = 20.57 + 0.401592 X2 + 0.537376 X3 80.20 %
8 Y = 20.57 + 0.131544 X1 + 0.391172 X2 + 0.576575 X3 81.83 %

Dari semua model tersebut, tampak bahwa sumbangan dari variabel X1 sangat kecil
(No 2; 5; 6; 8, masing-masing hanya menambah 0.45%; 0.51%; 1.92%; dan 1.63%).
Dengan demikian, meskipun persamaan No 8 (Y = 20.57 + 0.131544 X1 + 0.391172
X2 + 0.576575 X3) mempunyai nilai R2 tertinggi (81.83%), akan tetapi kenaikan nilai
R2 hanya sebesar 1.92% dibandingkan dengan Model Persamaan No. 7, yang hanya
menyertakan variabel X2 dan X3 saja (R2 80.20%).

Dari Analisis tersebut, kita bisa menarik kesimpulan bahwa Model Persamaan No. 7
dengan hanya menyertakan Variabel X2 dan X3 saja yang terpilih, yaitu:

Y = 20.57 + 0.401592 X2 + 0.537376 X3

6
Kesimpulan:
Dari Ketiga cara pemilihan model regresi terbaik, ternyata untuk kasus sosial di atas
semuanya konsisten. Hanya Variabel X2 (pendapatan keluarga) dan X3 (tingkat
pengangguran) saja yang terpilih dan nyata memberikan kontribusi dalam
menentukan tinggi rendahnya Y (Laju bunuh diri).