Pertemuan 12

ARTIFICIAL NEURAL
NETWORKS (ANN)
- JARINGAN SYARAF TIRUAN -

Betha Nurina Sari,

M.Kom

JARINGAN SYARAF TIRUAN (JST)

Definisi JST
Istilah dalam JST
Komponen JST
Arsitektur Jaringan
Fungsi Aktivasi
Proses Pembelajaran
Macam-macam JST

Jaringan Syaraf Tiruan

Salah satu representasi buatan

dari otak manusia yang selalu
mencoba untuk
mensimulasikan proses
pembelajaran pada otak
manusia tersebut.

Jaringan Syaraf
Tiruan

Istilah dalam JST

Neuron: sel syaraf tiruan yang merupakan
elemen pengolah JST
Jaringan: bentuk arsitektur JST, kumpulan
neuron yang saling berhubungan dan
membentuk lapisan
Input: sebuah nilai input yang akan diproses
menjadi nilai output
Output: solusi dari nilai input
Hidden layer: lapisan yang tidak terkoneksi
secara langsung dengan lapisan input atau
output, memperluas kemampuan JST

Istilah dalam JST

Bobot: nilai matematis dari sebuah koneksi antar
neuron
Fungsi aktivasi: fungsi yang digunakan untuk
mengupdate nilai-nilai bobot per-iterasi dari semua
nilai input.
Fungsi aktivasi sederhana adalah mengalikan
input dengan bobotnya dan kemudian
menjumlahkannya (disebut penjumlahan sigma)
Berbentuk linier atau tidak linier, dan sigmoid
Paradigma pembelajaran: bentuk pembelajaran,
supervised learning atau unsupervised learning

KOMPONEN JARINGAN
SYARAF
Neuron/sel syaraf yang akan
mentransformasikan informasi yang
diterima melalui sambungan keluarnya
menuju neuron-neuron yang lain.
Pada jaringan syaraf, hubungan antar
neuron-neuron dikenal dengan nama
bobot.

KOMPONEN JARINGAN
SYARAF

Pada jaringan syaraf, neuronneuron akan dikumpulkan dalam

lapisan-lapisan (layer) yang
disebut dengan lapisan neuron
(neuron layers)
Faktor terpenting untuk
menentukan kelakuan suatu
neuron adalah fungsi aktivasi
dan pola bobotnya.

KOMPONEN JARINGAN
SYARAF
Informasi yang diberikan pada jaringan
syaraf akan dirambatkan lapisan ke
lapisan, mulai dari input sampai ke
lapisan output melalui lapisan yang
lainnya, yang dikenal dengan lapisan
tersembunyi (hidden layer), tergantung
pada algoritma pembelajarannya, bisa
jadi informasi tersebut akan
dirambatkan secara mundur pada
jaringan.

ARSITEKTUR
JARINGAN
Jaringan dengan lapisan tunggal
(single layer net)
Jaringan dengan banyak lapisan
(multilayer net)
Jaringan dengan lapisan kompetitif
(compotitive layer net)

Jaringan dengan lapisan

tunggal (single layer net)
Hanya memiliki satu
lapisan dengan bobotbobot terhubung
Jaringan ini hanya
menerima input
kemudian secara
langsung akan
mengolahnya menjadi
output tanpa harus
melalui lapisan
tersembunyi.

Jaringan dengan banyak

lapisan (multilayer net)
Memiliki 1 atau
lebih lapisan yang
terletak diantara
lapisan input dan
lapisan output
Ada lapisan yang
berbobot yang
terletak antara 2
lapisan yang
bersebelahan

Jaringan dengan lapisan

kompetitif (compotitive layer net)

Hubungan antar neuron pada lapisan

kompetitif tidak diperlihatkan pada
diagram arsitektur

FUNGSI AKTIVASI
Fungsi aktivasi merupakan fungsi yang
digunakan pada jaringan syaraf untuk
mengaktifkan atau tidak mengaktifkan
neuron. Seperti terlihat pad gambar sebuah
neuron akan mengolah N input (x1, x2, ..,xN)
yang masing-masing memiliki bobot w1, w2,
w3, ..,wN) dan bobot bias b.

Fungsi Aktivasi
Fungsi Undak Biner (Hard Limit)
Jaringan dengan lapisan tunggal sering
menggunakan fungsi undak untuk
menkonversi input dari suatu variabel
yang bernilai kontinu ke suatu output
biner.
Fungsi hard limit dirumuskan

Fungsi Aktivasi
Fungsi Undak Biner (Threshold)
Fungsi undak biner dengan
menggunakan nilai ambang sering
disebut fungsi nilai ambang atau fungsi
Heaviside.
Dirumuskan:

Fungsi Aktivasi
Fungsi Bipolar
Hampir sama dengan fungsi undak
biner, hanya saja output yang
dihasilkan berupa1, 0 atau-1

Fungsi Aktivasi
Fungsi Bipolar (dengan Threshold)
Fungsi yang menghasilkan output
berupa 1, 0 atau -1

Fungsi Aktivasi
FungsiLinear (identitas)
Fungsi linear memiliki nilai output yang
sama dengan nilai input
Dirumuskan: y= x

Fungsi Aktivasi
Fungsi SturatingLinear
Fungsi ini akan bernilai 0 jika inputnya
kurang dari -, dan akan bernilai 1 jika
inputnya lebih dari . Sedangkan jika
nilai input terletak antara- dan ,
maka outputnya akan bernilai sama
dengan nilai input ditambah .

Fungsi Aktivasi
Fungsi Symetric Saturating Linear
Fungsi ini akan bernilai -1 jika inputnya
kurang dari-1. Sedangkan jika nilai
input terletak antara -1 dan 1, maka
outputnya akan bernilai sama dengan
nilai inputnya.

Fungsi Aktivasi
Fungsi Sigmoid Biner
Digunakan untuk jaringan syaraf yang
dilatih dengan menggunakan metode
backpropagation. Memiliki nilai pada
range 0 sampai 1

Fungsi Aktivasi
Fungsi Sigmoid Bipolar
Output dari fungsi ini memiliki range
antara 1 sampai -1
Fungsinya dirumuskan:

Proses Pembelajaran
Belajar adalah suatu proses dimana parameterparameter bebas JST diadaptasikan melalui
suatu proses perangsangan berkelanjutan oleh
lingkungan di mana jaringan berada.
Metode belajar, yaitu:
Supervised learning (belajar dengan
pengawasan)
Unsupervised learning (belajar tanpa
pengawasan)
Hibrida learning (Gabungan Supervised
dan Unsupervised)

Proses Pembelajaran
Pembelajaran Terawasi (supervised
learning)
Metode pembelajaran pada jaringan syaraf
disebut terawasi jika output yang diharapkan
telah diketahui sebelumnya.
Pembelajaran Tak Terawasi(unsupervised
learning)
Pada metode pembelajaran tak terawasi ini
tidak memerlukan target output. Tujuan
metode ini adalah pengelompokan unit-unit
yang hampir sama dalam suatu area tertentu.

PEMBELAJARAN TERAWASI
(SUPERVISED LEARNING)

Hebb Rule
Metode pembelajaran
yang paling sederhana,
pembelajaran dilakukan
dengan cara memperbaiki
nilai bobot sedemikian
rupa sehingga jika ada 2
neuron yang terhubung
dan keduanya dalam
kondisi on pada saat
yang sama, maka bobot
antara keduanya
dinaikkan

PERCEPTION
Biasanya digunakan
untuk
mengklasifikasikan
suatu tipe pola
tertentu yang sering
dikenal dengan
pemisahan secara
linear.
Algoritma yang
digunakanakan
mengatur
parameterparameter bebasnya
melalui proses
pembelajaran

Delta Rule
Mengubah bobot yang menghubungkan
antara jaringan input ke unit output
dengan nilai target.

Backpropagation
Algoritma ini biasanya digunakan oleh
perception dengan banyak lapisan untuk
mengubah bobot-bobot yang terhubung
dengan neuron-neuron yang ada pada
lapisan tersembunyi

Hetro associative Memory

Jaringan yang bobot-bobotnya
ditentukan sedemikian rupa sehingga
jaringan tersebut dapat menyimpan
kumpulan pola.

Bidirectional Associative
Memory
Model jaringan syaraf
yang memiliki 2 lapisan
dan terhubung penuh dari
satu lapisan ke lapisan
lainnya.
Pada jaringan ini
dimungkinkan adanya
hubungan timbal balik
antara lapisan input dan
lapisan output.

Learning vector
Quantization
Suatu metode untuk
melakukan pembelajaran
pada lapisan kompetitif
yang terawasi.
Suatu lapisan kompetitif
akan secara otomatis
belajar untuk
mengklasifikasikan vektorvektor input. Kelas-kelas
yang didapatkan sebagai
hasil hanya tergantung
pada jarak antara vektorvektor input.

PEMBELAJARAN TAK
TERAWASI
(UNSUPERVISED
LEARNING)

Pembelajaran Tak Terawasi

(Jaringan Kohonen)
Jaringan kohonen pertama kali diperkenalkan
oleh Prf. Teuvo Kohonen tahun1982.
Pada jaringan ini, suatu lapisan yang berisi
neuron-neuron akan menyusun dirinya
sendiri berdasarkan input nilai tertentu
dalam suatu kelompok yang dikenal dengan
istilah cluster.
Selama proses penyusunan diri, cluster yang
memiliki vektor bobot paling cocok dengan
pola input akan terpilih sebagai pemenang.

CONTOH
LATIHAN
- HEBB RULE -

Hebb Net
Hebb mengusulkan pembelajaran dengan
memodifikasi bobot sedemikian shg dua
hubungan neuron on dalam waktu yang
bersamaan, kemudian bobot diantara kedua
neuron tersebut bertambah.
keterangan :
Wi : bobot data input ke-i
xi : input data ke-i
y : output data

Algoritma Hebb Net

Hebb Net
Contoh pengenalan pola dengan
algoritma Hebb
Diketahui dua buah pola seperti huruf
T dan U seperti gambar . Gunakan
jaringan Hebb untuk mengenali pola
tersebut :

Inisialisasi Pola 1 dan

2

Algoritma pelatihan Hebb

Inisialisasi bobot dan bias :
w1 = w2 =w3=w4=w5=w5=w6=w7=w8=w9= 0 dan bias
b= 0
Pola ke 1 : Perubahan bobot dan bias untuk pola ke 1
w1(baru) = w1(lama) + x1*y = 0+1*1 = 1
w2(baru) = w2(lama) + x2*y = 0+1*1 = 1
w3(baru) = w3(lama) + x3*y = 0+1*1 = 1
w4(baru) = w4(lama) + x4*y = 0+(-1)*1 = -1
w5(baru) = w5(lama) + x5*y = 0+1*1 = 1
w6(baru) = w6(lama) + x6*y = 0+(-1)*1 = -1
w7(baru) = w7(lama) + x7*y = 0+(-1)*1 = -1
w8(baru) = w8(lama) + x8*y = 0+1*1 = 1
w9(baru) = w9(lama) + x9*y = 0+(-1)*1 = -1
b(baru) = b(lama) + y = 0+1=1

Algoritma pelatihan
Hebb

Pola ke- 2 Perubahan bobot dan bias untuk pola ke 2

w1(baru) = w1(lama) + x1*y = 1+1*(-1) = 0
w2(baru) = w2(lama) + x2*y = 1+(-1)*(-1) = 2
w3(baru) = w3(lama) + x3*y = 1+1*1 = 1
w4(baru) = w4(lama) + x4*y = (-1)+1*(-1) = -2
w5(baru) = w5(lama) + x5*y = 1+(-1)*(-1) = 2
w6(baru) = w6(lama) + x6*y = (-1)+1*(-1) = -2
w7(baru) = w7(lama) + x7*y = (-1)+ 1*(-1) = -2
w8(baru) = w8(lama) + x8*y = 1+1*(-1) = 0
w9(baru) = w9(lama) + x9*y = (-1)+1 * (-1) = -2
b(baru) = b(lama) + y = 1+ (-1)=0

Algoritma pelatihan
Hebb
Diperoleh nilai Pola 1
w1 =1 w2 =1 w3=1 w4=-1 w5=1 w6=1 w7=-1 w8=1 w9= -1 dan bias b= 1
diperoleh nilai Pola 2:
w1 =0 w2 = 2 w3= 1 w4= -2 w5= 2
w6= -2 w7= -2 w8=0 w9= -2 dan bias
b= 0

Pengenalan Pola

Pengenalan Pola
Pola 1
- - - -1 = 10
Y= f(net) = f(10) = 1
Y = 1 (sesuai target) : mengenali pola

Pengenalan Pola
Pola 2
- = -11
Y= f(net) = f(-11) = -1
Y = -1 (sesuai target) : mengenali pola

LATIHAN
Buatlah manual atau implementasi dari
pengenalan kedua pola berikut:

Hebb Net
Untuk merepresentasikan kasus
tersebut dalam jaringan Hebb, tiap
karakter pola dianggap sebagai sebuah
unit masukan.
Misalkan
karakter # dalam pola bernilai = 1,
dan
karakter . dalam pola benilai = 0

NEXT

ALGORITMA
GENETIKA