Architecture Net, Simple

Neural Net

Materi
1. Perceptron
2. ADALINE
3. MADALINE

Perceptron
Perceptron lebih powerful dari Hebb
Pembelajaran perceptron mampu menemukan
konvergensi terhadap bobot yang benar
Fungsi aktivasi :

Update bobot
= learning rate
3

Arsitektur Perceptron

Output : vektor biner

Goal : klasifikasi setiap input ke dalam kelas +1 atau -1

Algoritma Perceptron
Inisialisasi bobot dan bias (w=b=0) dan 0 < <= 1 (=1)
Ulangi sampai sesuai kondisi kriteria berhenti

Untuk setiap pasangan s:t, lakukan

Set aktivasi input xi = si

Hitung

Update bobot dan bias jika terjadi kesalahan

Evaluasi kriteria berhenti

Jika bobot tidak berubah maka berhenti, jika tidak maka

lanjutkan
5

Fungsi AND

(biner input & bipolar target)

Inisialisasi: = 1, w=b=0, = 0.2

Epoch = 1

Epoch = 2

Fungsi AND

(bipolar input & target)

Inisialisasi: = 1, w=b==0
Epoch = 1

Epoch = 2

Latihan

Arsitektur Pengenalan 7 Huruf

ADALINE (Adaptive Linear Neuron)

Biasanya menggunakan bipolar dan bias
Random bobot awal dengan bilangan kecil
Dilatih menggunakan aturan delta/LMS dengan
meminimalkan MSE antara fungsi aktivasi dan
target
Fungsi aktivasi : identitas / linier

Update bobot

= learning rate

10

Arsitektur ADALINE

Output : vektor biner

Goal : klasifikasi setiap input ke dalam kelas +1 atau -1

11

Algoritma Training ADALINE

Inisialisasi bobot

Biasanya digunakan nilai random yang kecil

Inisialisasi learning rate ()

Biasanya digunakan nilai yang relatif kecil, yaitu 0.1

Jika nilai terlalu besar, proses learning tidak mencapai konvergen
Jika nilai terlalu kecil, proses learning akan berjalan sangat lambat
Secara praktis, nilai learning rate ditentukan antara 0.1 n 1.0,
dimana n adalah jumlah input unit

Ulangi sampai sesuai kondisi kriteria berhenti

Untuk setiap pasangan s:t, lakukan

Set aktivasi input xi = si

Hitung

Update bobot dan bias

12

Algoritma Testing ADALINE

Inisialisasi bobot

Dapatkan bobot dari proses learning

Untuk setiap bipolar input pada vektor x

Set aktivasi dari input unit ke x

Hitung nilai jaringan dari input ke output

Terapkan fungsi aktivasi

13

Fungsi AND

(biner input & bipolar target)

ADALINE didesain untuk menemukan bobot yang bertujuan

meminimalkan total error

net input to output

target

14

MADALINE (Many Adaptive Linear Neuron)

Konsep ADALINE yang menggunakan jaringan
multilayer
Arsitektur MADALINE tergantung pada
kombinasi ADALINE yang digunakan
MADALINE dengan 1 hidden layer (terdiri dari 2
hidden unit ADALINE) dan 1 output unit ADALINE

Fungsi aktivasi untuk hidden dan output layer:

15

Arsitektur MADALINE

Y merupakan fungsi nonlinier dari input vektor (x1 dan x2)

16

Algoritma Training MADALINE

MRI (Widrow dan Hoff)
Inisialisasi bobot
1
2

1
2

1
2

v1 = , 2 = , 3 =

Bobot yang lain menggunakan bilangan random yang kecil

nilai learning rate ditentukan antara 0.1 n 1.0

Untuk setiap bipolar input pada vektor x

Set aktivasi dari input unit ke x

Hitung masukan jaringan ke setiap hidden unit

zin 1 = 1 + 1 11 + 2 21
zin 2 = 2 + 1 12 + 2 21

Tentukan output dari setiap hidden unit

1 = ( )
2 = ( )
17

Algoritma Training MADALINE

MRI (Widrow dan Hoff)

Untuk setiap bipolar input pada vektor x

Tentukan keluaran dari jaringan

yin = b3 + z1 v1 + z2 v2
y = f yin

Hitung error dan update bobot, jika t=y maka bobot tidak di-update
Jika t=1, update bobot pada Zj

bJ (new) = bJ (old) + (1 zin J )

wiJ new = wiJ old + 1 zin J xi

Jika t=-1, update bobot pada semua unit Zk yang punya input positif

bk (new) = bk (old) + (1 zin k )

wik (new) = wik (old) + 1 zin k xi
18

Algoritma Training MADALINE

MRII (Widrow, Winter dan Baxter)
Inisialisasi bobot
1
2

1
2

1
2

v1 = , 2 = , 3 =

Bobot yang lain menggunakan bilangan random yang kecil

nilai learning rate ditentukan antara 0.1 n 1.0

Untuk setiap bipolar input pada vektor x

Set aktivasi dari input unit ke x

Hitung masukan jaringan ke setiap hidden unit

zin 1 = 1 + 1 11 + 2 21
zin 2 = 2 + 1 12 + 2 21

Tentukan output dari setiap hidden unit

1 = ( )
2 = ( )
19

Algoritma Training MADALINE

MRII (Widrow, Winter dan Baxter

Untuk setiap bipolar input pada vektor x

Tentukan keluaran dari jaringan
yin = b3 + z1 v1 + z2 v2
y = f yin

Hitung error dan update bobot, jika ty maka laukan

update bobot untuk setiap hidden unit dengan input
mendekati 0

Ubah keluaran unit (dari +1 menjadi 1, atau sebaliknya)

Hitung kembali respon dari jaringan. Jika kesalahan berkurang:
Sesuaikan bobot pada unit ini (gunakan nilai keluaran yang baru
sebagai target dan lakukan aturan Delta)

bJ (new) = bJ (old) + (1 zin J )

wiJ new = wiJ old + 1 zin J xi

bk (new) = bk (old) + (1 zin k )

wik (new) = wik (old) + 1 zin k xi
20

Algoritma Testing MADALINE

Inisialisasi bobot

Dapatkan bobot dari proses learning

Untuk setiap bipolar input pada vektor x

Set aktivasi dari input unit ke x

Hitung nilai jaringan dari input ke output

Terapkan fungsi aktivasi

21

Contoh Aplikasi
fungsi Xor

Inisialisasi Bobot dg random, learning rate = 0.5

22

Contoh Aplikasi
fungsi Xor

23

Contoh Aplikasi
fungsi Xor

24