STATISTIKA Stat 5188

Trace and Determinant

In each of the following definition, let Σ be the variance-covariance matrix of p

variables. Note that Σ is a square p x p matrix and also Σ is a symmetric matrix.
Variance-covariance matrices and correlation matrices are always symmetric.

Definition 1. The trace of Σ, denoted by tr(Σ), is defined by tr(Σ) = Σσii

=σ11+…+σpp. Thus, the trace of a square matrix is equal to the sum of its diagonal
elements going from the upper left-hand corner down to the lower right-hand
corner.
(Trace dari matriks varian-kovarian suatu vektor variabel random adalah jumlahan
variansi dari masing-masing variabel random)

Computation of eigenvalues, and the characteristic equation

The eigenvalues (also called characteristic roots or laten roots) of Σ are the roots
of the polynomial equation defined by |𝛴 − 𝜆𝐼 | = 0.

(Eigenvalue atau akar karakteristik atau akar laten dari matrik varian-kovariansi
adalah akar polynomial persamaan yang didefinisikan di atas. Ada p eigenvalue,
karena ada p variabel)

where I is the identity matrix. If Σ is a symmetric matrix, which it will be whenever

it is a variance-covariance matrix or a correlation matrix, the eigenvalues of Σ will
always be real numbers.

a symmetric matrix Σ, its eigenvalues are real numbers and hence they can be
ordered from largest to smallest. In this case, the eigenvalues of Σ will be denoted
by
λ1 ≥ λ2 ≥... ≥λp
Thus λ1 is the largest eigenvalue of Σ, λ2 is the second lergest eigenvalue of Σ,...,
and finally λp is the smallest eigenvalue of Σ.

(Dalam principal komponen analisis PCA, salah satu metode yang digunakan untuk
menentukan banyaknya komponen utama adalah menggunakan nilai eigen ini,
caranya adalah dengan melihat prosentase q (q<p) nilai eigen terbesar terhadap total
nilai eigen)

UGM

1
 STATISTIKA Stat 5188

Definition 2 . Each eigenvalue of Σ, λ, has a corresponding nonzero vector a (a

column of numbers, vektor kolom) called an eigenvector (also called a
characteristic vector or a latent vector) that satisfies the matrix equation Σai = λiai
and ai’. ai =1.

Because Σ has p eigenvalues, it will have p eigenvectors. Let a1,a2,...,ap denote the
eigenvector of Σ corresponding to the eigenvalues λ1 , λ2 ,...,λp , respectively.

Some properties of the eigenvalues of a matrix are

𝑡𝑟(𝛴) = ∑ 𝜆𝑖 = ∑ 𝜎𝑖𝑖

|𝛴| = ∏ 𝜆𝑖

Thus, the trace of a symmetric matrix is equal to the sum of its eigenvalues, and the
determinant of a symmetric matrix is equal to the product of its eigenvalues.

Total variansi mampu ditangkap oleh eigenvalue

Positive Definite and Positive Semidefinite Matrices

Result dan Definition. If a matrix is symmetric and if all of its eigenvalues are
positive, the matrix is called a positive definite matrix.
Definition. If a symmetric matrix has nonnegative and if at least one of its
eigenvalues is actually equal to zero, the matrix is called a positive semidefinite
matrix.
Definition. If a matrix is either positive definite or semidefinite, the matrix is called
a nonnegative matrix.

Remark. Variance-covariance matrices and correlation matrices are always

nonnegative matrices. That is, all of the eigenvalues of a variance-covariance matrix
or a correlation matrix will be nonnegative real numbers. This is also true for sample
variance-covariance matrices and sample correlation matrices.

Example. As an example suppose we have 2 random variables and its variance

covariance matrix is

6 2
𝛴=[ ]
2 3

To compute the eigenvalue of Σ, we note that |𝛴 − 𝜆𝐼 | = 0 implies that

UGM

2
 STATISTIKA Stat 5188

6−𝜆 2
|[ ]| = 0
2 3−𝜆

The two roots of this equation are λ=2, and λ=7. Therefore, the largest eigenvalue
of Σ is λ1=7 and the smallest eigenvalue of Σ is λ2= 2. Because both eigenvalues of
Σ are positive, Σ is a positive definite matrix.

Untuk menghitung eigen vektor dari Σ yang berkorespondensi terhadap eigen value
pertama adalah

6 2 𝑎11 𝑎11
[ ] [𝑎 ] = 7 [𝑎 ]
2 3 12 12

Σa1 = λ1a1  a11 = 2a12. Jadi vektor yang elemen pertamanya dua kali dari elemen
kedua, dan memenuhi a112 + a122 = 1, akan menjadi eigenvektor dari Σ. Selanjutnya
eigen vektor dinormalisasi, a112 + a122 = 1, menghasilkan 5 a122 = 1, yang
menghasilkan a12 = ±1/√5 dan a11=±2/√5. Jadi a1 = [2/√5 1/√5]’ merupakan
eigenvektor dari Σ yang berkorespondensi dengan eigen value terbesar 7.

Normalisasi eigen vektor dapat pula secara formal sebagai e = a/√a’a. Misalkan
diambil nilai a12 =1, diperoleh nilai a11=2. Selanjutnya diperoleh eigen vektor

[2 1]
𝑎1 = = [2/√5 1/√5]
√5

Misalkan diambil nilai a12 = 2, diperoleh nilai a11=4. Selanjutnya diperoleh eigen
vektor

[4 2]
𝑎1 = = [2/√5 1/√5]
2√5

Dengan cara yang sama, diperoleh eigen vektor ternormalkan dari Σ yang
bersesuaian dengan eigen value 2 adalah a2 = [1/√5 -2/√5]’. Selanjutnya dapat
dicek bahwa a1 dan a2 saling orthogonal satu sama lain dengan menunjukkan a1,
a2 = 0.

UGM

3
 STATISTIKA Stat 5188

Dekomposisi SpektraL

Theorema. Jika A adalah matriks simetrik berukuran p×p, maka A dapat

dinyatakan dalam bentuk pasangan eigen value dan eigen vektornya (λ,a) sebagai

𝐴 = ∑ 𝜆𝑖 𝑎𝑖 𝑎𝑖′
𝑖=1

Dengan menggunakan teorema dekomposisi spektral seperti di atas, matriks

kovarian ∑ dapat didekomposisi menjadi nilai eigen λ dan vektor eigen a.

p
   i ai ai'
i 1

 1 a1' 
 
 ' 
 2 a2 
  1 a1 2 a2 ...  p a p   
: 
 
  p a 'p 
 
 L L '
 p p   p p 

Untuk p = 2, maka diperoleh

2
   i ai ai'
i 1

  1 a11 2 a21    1 a11 1 a12 

    
  1 a12 2 a22    2 a21 2 a22 

 L L'
 22   22 

Contoh. Pada soal di atas, dipunyai eigen value λ1 =7 beserta vektor eigennya a1
= [2/√5 1/√5]’ dan eigen value λ2 =2 beserta vektor eigennya a2 = [1/√5 -2/√5]’.
Selanjutnya akan kita lihat

UGM

4
 STATISTIKA Stat 5188

 e e
i 1
'
i i i

2 / 5   1/ 5 
7   2 / 5 1/ 5   2   1/ 5 2 / 5 
1/ 5   2 / 5 

 4 / 5 2 / 5  1/ 5 2 / 5
7   2 
 2 / 5 1/ 5   2 / 5 4 / 5 
6 2
 
2 3
A

Latihan. Carilah matriks L dari matriks A di atas.

Contoh. Dipunyai matriks simetris

13 4 2 
A   13 2 
 10 
Dari matriks di atas diperoleh eigen value λ2= λ3 = 9, dan λ1 = 18. Selanjutnya untuk
nilai λ= 9, diperoleh persamaan untuk mendapatkan vektor eigen

13e1 – 4e2 + 2e3 = 9e1

- 4e1 +13e2 - 2e3 = 9e2
2e1 - 2e2 +10e3 = 9e3

UGM

5
 STATISTIKA Stat 5188

Dengan operasi aljabar, diperoleh

4e1 – 4e2 + 2e3 = 0

- 4e1 + 4e2 - 2e3 = 0
2e1 - 2e2 + e3 = 0

Ketiga persamaan di atas sebenarnya identik. Jadi ada dua persamaan di atas yang
redundan. Ambil salah satu persamaan dan secara sembarang tentukan e 1 = 1 dan
e2 = 1, diperoleh e3 = 0. Jadi diperoleh vektor eigen e1 = [1/√2,1/√2,0 ]’.
Untuk eigen value kedua, jika anda ambil nilai e1 = 1 dan e2 = -1, maka anda akan
mendapatkan nilai e3 = -4 dan diperoleh vektor eigen e2 = [1/√18,-1/√18,-4/√18 ]’
Untuk eigen value λ3 = 18, diperoleh e3 = [2/√9,-2/√9,1/√9 ]’.

Selanjutnya silahkan cek teorema di atas, A = λ1e1e1’ + λ2e2e2’ + λ3e3e3’.

3

 e e
i 1
'
i i i

 1/ 18  1/ 2 
   
 9  1/ 18  1/ 18 1/ 18 4 / 18   9 1/ 2  1/ 2 1/ 2 0 
   
 4 / 18  0 

 2/3 
 
18  2 / 3  2 / 3 2 / 3 1/ 3
 
1/ 3 
 1/18 1/18 4 /18 1/ 2 1/ 2 0   4 / 9 4 / 9 2 / 9 

 9  1/18 1/18 4 /18   9 1/ 2 1/ 2 0   18  4 / 9 4 / 9 2 / 9 
  
 4 /18 4 /18 16 /18   0 0 0   2 / 9 2 / 9 1/ 9 

13 4 2 
  13 2 
 10 

A
13 4 2 
A   13 2 
 10 

UGM

6
 STATISTIKA Stat 5188

Berikut diberikan perintah di software matlab untuk menjalankan komputasi eigen

value dan eigen vektor serta metode dekomposisinya.

>> A=[13 -4 2;-4 13 -2;2 -2 10]

A=
13 -4 2
-4 13 -2
2 -2 10

>> [a e] = eig(A)
a=
0.7424 0.0660 0.6667
0.5543 0.4983 -0.6667
-0.3762 0.8645 0.3333

e=
9.0000 0 0
0 9.0000 0
0 0 18.0000

>> e(1,1)*a(:,1)*a(:,1)'+e(2,2)*a(:,2)*a(:,2)'+e(3,3)*a(:,3)*a(:,3)'
ans =
13.0000 -4.0000 2.0000
-4.0000 13.0000 -2.0000
2.0000 -2.0000 10.0000

UGM