Analisa Data Statistik

Chap 13: Regresi Linear (Lanjutan)

Agoes Soehianie, Ph.D

ANOVA UNTUK ANALISA KUALITAS REGRESI

Misal kita punya n data {Xi,Yi}, dan kemudian dilakukan analisa

regresi, sehingga bisa ditaksir besarnya variansi bagi Y:
n n n

(y
i 1
i  y )  ( yˆ i  y )   ( yi  yˆ i ) 2
2

i 1
2

i 1

Atau secara ringkas ditulis sbb: SST = SSR + SSE

SST : tak lain adalah SYY
SSR : Regression Sum Squares merupakan variasi dari Y yg bisa
dijelaskan oleh model regresi
SSE : random error squares yg mencerminkan variasi di sekitar garis
regresi
Sehingga bisa dituliskan : SYY = SSR + SSE atau
SSR = SYY – SSE
Padahal
SSE =SYY – b*SXY (lihat bab sebelumnya)
Sehingga SSR = b*SXY
ANOVA UNTUK ANALISA KUALITAS REGRESI
Hipotesa yg ingin diperiksa adalah apakah memang ada kaitan antara X
dan Y, jadi :
H0 : β = 0 berarti Y tidak bergantung X!
H1 : β ≠ 0
Untuk memeriksa kebenaran hipotesa ini bisa digunakan F-test, dengan
nilai F: SSR
F
S2
Dengan nilai S2 = SSE/(n-2).
H0 akan ditolak pada tingkat signifikan α, jika Fα(1,n-2).
Secara skematik komputasinya disajikan dalam tabel berikut ini:
SUmber Sum Derajat Mean F
Variasi Squares Kebebasan Square
Regresi SSR 1 SSR/1 SSR/{SSE/(n-2)}
Error SSE n-2 SSE/(n-2)
TOTAL SST n-1
ANOVA UNTUK ANALISA KUALITAS REGRESI
Jikalau H0 berhasil ditolak artinya terdapat jumlah variasi data Y yg
signifikan yg bisa dijelaskan oleh model regresi yaitu
kebergantungan Y secara linear thd X

Test-F ini merupakan alternatif terhadap test yang menggunakan

distribusi student t. Dalam Bab yg sebelumnya telah ditunjukkan
kita bisa memeriksa hipotesa:

H0 : β = β0
H1 : β ≠ β0 b  0
Dengan mempergunakan variabel test:
t
S / SXX
Jikalau β0=0, maka testnya menjadi b
t
S / SXX
ANOVA UNTUK ANALISA KUALITAS REGRESI
2
Sedikit pengolahan menunjukkan: b * SXX
t 
2

S2
Tetapi: b= SXY/SXX, sehingga
2 2
SXY / SXX * SXX b * SXY SSR
t 
2
2
 2
 2
S S S
Tetapi yang terakhir ini tak lain adalah nilai F.
Data dengan Pengulangan
Pengukuran
Data Dengan Pengulangan Pengukuran
Seringkali dalam pengukuran dimungkinkan untuk sebuah nilai Xi
diulang beberapa kali untuk mendapatkan beberapa nilai Yi1, Yi2,
dst. Pengukuran ulang ini memberi cara untuk mengevaluasi
model regresi linear secara lebih akurat.
Dengan cara ini Error Sum Squares i  ( y i  ˆi )2
y terdiri dari dua
komponen:
a) variasi dari Y untuk sebuah nilai X  error murni (pure) krn
experiment
b) dan kontribusi yg disebut Lack of Fit  variasi sistematik yg
disebabkan suku order tinggi (non linear)

Misalkan ada k grup data berdasarkan kesamaan X. Variansi yg

murni (pure) dari experiment, SSE (pure) adalah:
k ni
SSE ( pure )   ( yij  yi ) 2
i 1 j 1 dan variansi Y= S2=SSE(pure)/(n-k)
Data Dengan Pengulangan Pengukuran
Sedangkan variansi SSE yg umum adalah:
k ni
SSE   ( yij  yˆ i ) 2
i 1 j 1

Dengan derajat kebebasan = n-2. Dan variansi karena Lack of Fit

adalah = SSE – SSE (pure), dengan derajat kebebasan (k-2).
Tabel Perhitungan Lack of Fit

SUmber Sum Derajat Mean F

Variasi Squares Kebebasan Square

Error Regresi SSR 1 SSR/1 SSR/S2

SSE n-2

Lack of Fit SSE- SSE k-2 SSE  SSE ( pure ) SSE  SSE ( pure )
(pure) k 2 S 2  k  2

Pure Error SSE (pure) n-k SSE ( pure )

S2 
nk

TOTAL SST n-1

Contoh.
Lack of Fit

  x y Xe=X-Xm Ye=Y-Ym Xe^2 Ye^2 Xe*Ye Yteori (Y-Yteor)i^2 Ygrup (Y-Ygrup)^2

1 150 77.4 -75 -9.08 5625.00 82.51 681.25 77.74 0.12 77.43 0.00

2 150 76.7 -75 -9.78 5625.00 95.71 733.75 77.74 1.09 77.43 0.54

3 150 78.2 -75 -8.28 5625.00 68.61 621.25 77.74 0.21 77.43 0.59

4 200 84.1 -25 -2.38 625.00 5.68 59.58 83.57 0.28 84.10 0.00

5 200 84.5 -25 -1.98 625.00 3.93 49.58 83.57 0.86 84.10 0.16

6 200 83.7 -25 -2.78 625.00 7.75 69.58 83.57 0.02 84.10 0.16

7 250 88.9 25 2.42 625.00 5.84 SXY

60.42 89.40 0.25 89.27 0.13

8 250 89.2 25 2.72 625.00 7.38 67.92 89.40 0.04 89.27 0.00

9 250 89.7 SXX

25 3.22 625.00 10.35 80.42 89.40 0.09 89.27 0.19
SYY SSE SSE
10 300 94.8 75 8.32 5625.00 69.17 623.75 95.22 0.18 95.13 0.11
(pure)
11 300 94.7 75 8.22 5625.00 67.51 616.25 95.22 0.27 95.13 0.19

12 300 95.9 75 9.42 5625.00 88.67 706.25 95.22 0.46 95.13 0.59

Sum 2700 1037.8 0   37500 513.12 4370.00 1037.80 3.87 1037.80 2.66

Mean 225 86.48333 0   3125 42.76 364.17 86.48 0.32 86.48 0.22
Contoh.
SXX= 37500
SYY= 513.1167
SXY= 4370
b=SXY/SXX 0.116533
a= 60.26333
SUmber Sum Derajat Mean F
Variasi Squares Kebebasan Square

Error Regresi SSR 1 SSR/1 SSR/S2

SSE n-2

Lack of Fit SSE- SSE k-2 SSE  SSE ( pure ) SSE  SSE ( pure )
(pure)
k 2 S 2  k  2
Pure Error SSE (pure) n-k
SSE ( pure )
S2 
TOTAL SST n-1 nk

Sum squares derajat bebas Mean square F

SSR=bSXY 509.2507 1 509.2507 SSR/S^2 1531.581
SSE= 3.866 10
SSE-SSE(pure) 1.206 2 LoF 0.603 LoF/S^2 1.813534
SSE (pure) 2.66 8 S^2= 0.3325
TRANSFORMATION

Bentuk Transformasi Regresi

Fungsi Asal

Y=A exp (Bx) Ln(Y) = Ln(A) + Bx Y* = Ln(Y) vs X

Exponen
Y=AxB Log(Y)=Log(A)+ Y*=Log(Y) vs
Pangkat B*log(X) X* = Log(X)
Y= A + B/X Y = A + B (1/X) Y*=Y vs X*=1/X
Resiprok
Y=X/(A+BX) (1/Y)=B+A(1/X) Y*=1/Y vs X*=(1/X)
Hiperbola
Bentuk Fungsi
Implikasi Transformasi Pada Regresi Linear

Beberapa definisi variasi.

3. Variasi Random
Jumlah total kuadrat selisih data dengan rata-rata sampel yg terkait

Dengan G adalah banyak group, ng adalah banyak sampel di group-g.

Dapat dibuktikan bahwa ketiga variasi tsb saling terkait:

SStotal = SST + SSE

TEST ANOVA

1. Hipotesa
H0: μ1= μ2= μ3 = ….
H1: tidak semua rata-rata populasi sama
2. Tentukan tingkat signifikan α
3. Daerah kritis MST
F
Test statistiknya adalah F-test dengan MSE
dimana MST : Mean Squares of Treatments (between groups)
MSE : Mean Squares of Errors (within errors)
SST SSE
MST  MSE 
k 1 nk
Dengan k : jumlah grup dan n adalah banyak total semua data. Derajat
kebebasan F adalah (v1=k-1) untuk pembilang dan (v2=n-k) untuk
penyebut. Tentukan nilai kritis Fα(v1,v2) = Fkritis.
Tolak H0 jika Fhitung > Fkritis
TEST ANOVA

4. Perhitungan

TABEL ANOVA
Sumber Sum of Derajat Mean Fhitung
variasi Squares kebebasan Squares
Treatment SST k-1 MST=SST/(k-1) MST/MSE
(antar grup)
Error (dalam SSE n-k MSE=SSE/(n-k)
grup)
Total SS total n-1

5. Keputusan
Bandingkan Fhitung dengan Fkritis
6. Kesimpulan
TEST ANOVA – Contoh

Prof. Xsentrik memiliki 22 murid di kuliah Statistik. Murid-murid tsb

diminta memberikan rating thd perkuliahannya dalam 4 kategori: Baik
sekali, Baik, Cukup dan Jelek. Setelah itu diakhir kuliah diperoleh data
nilai akhir Statistik para murid tsb.

  GRUP    
Baik sekali Baik Cukup Jelek
1 2 3 4
94 75 70 68
90 68 73 70
85 77 76 72
80 83 78 65
  88 80 74

  68 65
    65  
SOlusi - Excell

Anova: Single Factor

SUMMARY
Groups Count Sum Average Variance
Baik sekali 4 349 87.25 36.91667
Baik 5 391 78.2 58.7
Cukup 7 510 72.85714 30.14286
Jelek 6 414 69 13.6

ANOVA
Source of Variation SS df MS F P-value F crit
Between Groups 890.6838 3 296.8946 8.990643 0.000743 3.159908
Within Groups 594.4071 18 33.02262
Total 1485.091 21
SOlusi – Manual (menghitung rata-rata dalam grup dan
grand)

GRUP
Baik sekali Baik Cukup Jelek
1 2 3 4

------------------------------------------------------------------------------
94 75 70 68
90 68 73 70
85 77 76 72
80 83 78 65
88 80 74
68 65
65
----------------------------------------------------------------------------------------------------
Σ 349 391 510 414
Rata-rata 87.25 78.2 72.86 69
x1  87.25 x2  78.2 x3  72.86 x4  69 Rata-rata dalam grup
xG  (349  391  510  414) / 22  75.64 Rata-rata grand
SOlusi – Menghitung SSE (variasi antar grup)

x1  87.25 x2  78.2 x3  72.86 x4  69 Jumlah data di

xG  75.64 Grup1 : 4

SST   nk ( xk  xG ) 2 Grup 2 : 5
k 1
Grup 3 : 7
SST  4 * (87.25  75.64) 2  5 * (78.2  75.64) 2 
Grup 4 : 6
7 * (72.86  75.64) 2  6 * (69  75.64) 2

SST = 890.68
SOlusi – Menghitung Variasi Dalam Grup

( xij  x1 ) 2 ( xij  x2 ) 2 ( xij  x3 ) 2 ( xij  x4 ) 2

45.56 10.24 8.16 1.00
7.56 104.04 0.02 1.00
5.06 1.44 9.88 9.00
52.56 23.04 26.45 16.00
96.04 51.02 25.00
23.59 16.00
61.73
----------------------------------------------------------------------------------
110.75 234.8 180.86 68
 ( xij  x1 )
i ,1
2
 ( xij  x2 ) 2
 ( xij  x3 )
i ,3
2
 ij 4
(
i,4
x  x ) 2

i,2

SSE = 110.75+234.8+180.86+68 = 594.41

SOlusi – Menghitung Variasi Total

( xij  xG ) 2 ( xij  xG ) 2 ( xij  xG ) 2 ( xij  xG ) 2

337.22 0.40 31.77 58.31
206.31 58.31 6.95 31.77
87.68 1.86 0.13 13.22
19.04 54.22 5.59 113.13
152.86 19.04 2.68
58.31 113.13
113.13
----------------------------------------------------------------------------------------------
650.26 267.66 234.93 332.25

 ij G  650.26  267.66  234.93  332.25  1485.09

( x
i, j
 x ) 2

SStotal = 1485.09
SOlusi – Ringkasan Hitungan

Variasi antar grup : SST = 890.68 v1 = 4-1=3 MST= SST/v1=296.89

Variasi dalam grup : SSE = 594.41 v2 = 22-4=18 MSE=SSE/v2=33.02
Variasi total : SSTotal = 1485.09

Fhitung = MST/MSE = 296.89/33.02 = 8.99

Dengan derajat kebebasan v1=3 dan v2=18
SOlusi – Testing Hipotesis

1. Hipotesa
H0: μ1= μ2= μ3 = μ4
H1: tidak semua rata-rata populasi sama
2. tingkat signifikan α = 5%
3. Daerah kritis
Test statistiknya adalah F-test.
F(v1,v2) = MST/MSE dengan
dengan v1=k-1 = 4-1 = 3 dan v2= n-k = 22-4 = 18
Nilai kritis F0.025 (3,18) = 3.16
Tolak H0 jika F> 3.16
4. Perhitungan
Fhitung = MST/MSE = 296.89/33.02 = 8.99
5. Keputusan : Karena F > 3.16 maka H0 ditolak
5. Kesimpulan : Tidak semua rata-rata grup sama