Bab 6 Model Hopfield dan Hoppensteadt 6.1 Pendahuluan 6.2 Model Hopfield-Tank 6.3 Model Hoppensteadt 6.4 Beberapa Tanggapan Umum mengenai Pencarian dengan Metode Relaksasi (Relaxation Searches) 6.5 Algoritma Belajar Mesin Boltzmann 6.6 Tinjauan Pustaka152 Pengantar Jaringan Neural 6.1 Pendahuluan Bab ini membahas dua pendekatan umum untuk jaringan besar. Men\ Hoppensteadt (1986), pendekatan pertama yaitu jaringan Hopfield d- dasarkan pada penentuan apakah suatu sel saraf melakukan 'penembakay’ (firing) atau tidak, sedangkan yang kedua lebih bergantung pada sinkr isasi frekuensi ‘penembakan’. Bagian pertama dari bab ini membah: jaringan Hopfield serta menjelaskan bahwa jaringan ini tidak hanya day digunakan sebagai memori asosiatif, tetapi dapat pula digunakan unt menyelesaikan masalah optimisasi. Suatu pembahasan mengenai kerangh kerja konseptual baru untuk perhitungan yang dikembangkan oleh Hopfiel dan Tank akan menyertai pengembangan teori memori asosiatif dan reprq- sentasi informasi secara terdistribusi yang dibahas dalam Bab 2. Meskiy ‘materi yang dibahas bukan merupakan bahan mendasar untuk memahargi mekanisme penyusun aplikasi yang akan dibahas selanjutnya, ulasan ter}- tang jaringan Hopfield ini bersama teori memori asosiatif akan sang membantu. Dalam bab ini diberikan pula secara cukup terperinci di contoh aplikasi jaringan Hopfield, yaitu solusi masalah penjual keliling (tr veling salesman problem) dan masalah pengolahan citra. Diberikan pu pengantar kepada usaha yang dilakukan untuk mengembangkan implemer} {asi optik dari jaringan Hopfield. Kemudian akan dibahas perbedaan per} ting yang harus dibuat antara kompleksitas komputasional dan komplekst pemrograman, yang dibahas dalam konieks solusi traveling salesma| problem. Bagian selanjutnya dari bab ini membahas hasil karva Hoppenst. dalam pengendalian jaringan besar dengan sinkronisasi frekuensi ‘pene ‘bakan’. Pendekatan permukaan energi yang dirintis dalam jaringan Hopfie juga diterapkan dalam jaringan Hoppensteadt. Secara khusus, Hopper steadt (1986) menunjukkan kemungkinan untuk mengasosiasikan suat fungsi energi dengan penguncian fasa (phase-locking) dari suatu jaringé csilator elektronik. Untuk itu diberikan pembahasan mengenai penguncié fasa serta bagaimana penerapannya pada jaringan Hoppensteadt dala neuron osilator terkontrol tegangan (voltage controlled oscillator neuror - VCONS). Jatingan Hopfield menggunakan teknik releksasi untuk melakukan pey- carian dengan banyak batas (multiple constraint search). Untuk itu dibex}-Model Hopfield dan Hoppensteadt 153 kan penjelasan umum mengenai search dengan metode relaksasi serta pembahasan penerapan simulated annealing pada jaringan Hopfield untuk menghindari konvergensi ke minimum lokal. Ini kemudian menuntun ke pembahasan algoritma belajar pada mesin Boltzmann, 6.2 Model Hopfield-Tank 6.2.1 Latar Belakang Biologis Hopfield (1986) memperkenalkan suatu rangkaian yang terdiri dari neuron. (model sel saraf) dengan mode! respons yang bertingkat dan tak linear, yang disusun menjadi jaringan dengan hubungan sinapsis yang simetrik. Rang kaian ini dapat ciimplementasikan dengan komponen elektronik, dan me- mungkinkan penyelesaian dari masalah kompleks (seperti yang dijumpai dalam bidang biologi) tanpa harus mengikuti aspek dinamika rangkaian. Pada dasamya, sekumpulan penguat/amplifier (citi-ciri rangkaian yang paling mendasar akan dibahas kemudian) menirukan sekumpulan neuron, dengan kepadatan tinggi. Hambatan (resistansi) dan kapasitansi digunakan untuk memodelkan hubungan antara sel-sel saraf (neuron). Tujuan utama dari penelitian yang dilakukan ini adalah untuk mempelajari perubahan pada hubungen antar neuron tersebut, dalam menirukan suatu sistem dinamik yang sederhana. Dalam pembahasan teoritis mula-mula, model neuron biologis dari Me Calloch-Pitts dipandang sebagai elemen pengambil keputusan logika yang dinyatakan sebagai variabel keadaan (state-variable) yang mempunyai dua nila, Elemen ini kemudian disusuin dalam jaringan pengambil keputusan logika yang dapat mengolah fungsi Boolean sederhana. Secara umum, model dari McCulloch-Pitts ini tidak mempunyai dua aspek penting dari neuron/rangkaian neuron biologis, yaitu pengolahan secara analog dan tingkat antarhubungan yang tinggi Kita mengasumsikan bahwa arus masukan dari semua jalur ke tiap unit dalam jaringan, berinteraksi secara sederhana dalam bentuk penjumlahan arus masukan. Bentuk interaksi yang lebih kompleks diabaikan. Penyeder- hanaan lain yang dilakukan adalah dengan hanya menangani peristiwa (event) sinapsis yang cepat; maksudnya adalah, pada saat suatu fluktuasi tegangan (potensial) terjaci pada ujung presinaptik dari suatu sinapsis154 Pengantar Jaringan Neural kimiawi, maka suatu perubahan kensentrasi neurotransmitter akan diikut (dengan sedikit terlambat) oleh timbulnya suatu arus pada sel berikutny. yang tethubung pada sinapsis tersebut (postsynaptic). Diasumsikan bahw keterlambatan ini jauh lebih kecil daripada konstanta waktu dari membrat neuronnya. Karena itu, suatu perubahan potensial dalam sel j menimbulka statu. perubahan Konduktansi sesaat dalam sel postsinaptik i. Besamy, perubahan konduktansi ini bergantung pada sifat dan kekuatan sinapsis day sel j ke sel i. Laju penembakan (firing rate) dari sel i dapat dinyatal dengan fungsi f{u). Dalam pemodelan, dua variabel menyatakan keadaat dari neuron i: potensial masukan efektif u; dan laju penembakan keluar flu). Kekuatan arus sinapsis yang memasulki suatu neuron postsinaptik j vyang ditimbulkan oleh suafu neuron presinaptik i adalah sebanding dengaa hasil kali antara keluaran sel presinaptik (f(u)) dan kekuatan sinapsis dari s i ke sel j (T3). Bentuk ini sangat mirip dengan aturan Hebb. 6.2.2 Implementasi Elektronik Hopfield (1985) memberikan beberapa citi rangkaian elektronik yang dig nakan untuk mengimplementasikan jaringan ini, Terdapat tiga sumber para- lelisme yang inheren dalam sistem ini, yaitu: (1) jalur masukan paralel; (4 jalur keluaran paralel; dan (3) tingkat antarhubungan yang tinggi anta neuron atau amplifier. Penguat (amplifier) yang digunakan untuk memodelkan neuron, men} punyai hubungan masuker-keluaran yang sigmoid dan monotonik V, ‘oft, di mana V; dan u; masing-masing adalah tegangan keluaran dan t gangan masukan. Konstanta waktu dari sel saraf tidak dimodelkan. deng konstanta waktu dari penguat (diabaikan) melainkan dengan suatu resistan masukan spesifik p, (tethubung ke suatu ground referensi) dan suatu kapa tansi masukan c). Suatu sinapsis antar sel saraf didefinisikan oleh sua konduktansi T; (yang diimplementasikan dengan suatu resistansi bernil 1/1 Tj!) yang menghubungkan salah satu dari Kedua keluaran penguat j masukan dati penguat i (iap penguat mempunyai dua keluaran, a+ dan af; ‘untuk suatu sinapsis pembangkit/excitatory, Keluaran diambil dari termingl +, sedangkan untuk sinapsis penghambat/inhibitory, keluaran diambil terminal — ) Dalam banyak kasus, masukan ke suatu sel saraf berasal d keluaran dari seluruh sel lain dalam sistem. Untuk memodelkan sifat sel sargf yang melakukan perhitungan dengan fungsi nonlinear terhadap sejum|Model Hopfield dan Hoppenstead! 185 besar masukan dengan dipengaruhi oleh tingkat aktivasinya sendiri, model elektronik ini menyediakan suatu arus pembias J, untuk tiap sel saraf. Pada dasamya, ini semua memberikan tingkat umum eksitabiltas jaringan terse- but (Gambar 6.1). Persamaan-persamaan diferensial nonlinear berikut ini menyatakan di- namika dari suatu sistem dengan N neuron yang berinteraksi, dengan me- nunjukkan bagaimana variabel keadaan neuronal berubah menurut waktu di bawah pengaruh arus sinapsis. du, & a fae 2M gtk di mana, Vi = afta). Di sini, Rj adalah suatu kombinasi parale! dari resistansi masukan dan re- sistansi yang digunakan untuk memodelkan konektivitas sinapsis: Taree Aline Jika untuk penyederhanaan diasumsikan nilai Ri dan C; konstan, dan jika semua fungsi sigmoid g adalah identik, maka persamaan geralsnya menjadi due ures cape pr ty jt di mana t= RCdan Y= guy. Perlu diperhatikan bahwa untuk memudahkan, dilakukan redefinisi T/C dan 14C menjadi T, dan I Jika nilai awal dari neuron (dalam hal ini, keadaan/state dari penguat) diberikan, sistem persamaan ini mampu memodelkan sepenuhnya proses evolusi kumpulan penguat tersebut terhadap waktu. Sifat biologis dasar yang186 Pengantar Jaringan Neural ™, Ny Ww, Ten onan aL — = T. w A v Keluaran tap neuron dapat merjadk masukan ke neuron lainya, Stal pembangkt dan penghambat dari hu- Dbungan tersabutdtentukan dad terminal pnguat yang menjadi masukan ke penguat lan, apakah terminal nor- ‘mal atau terminal ponbalk (invring). Dan Hoptola, “Computing wih Neural Ckeults: A Mode,"Scence, Vol. 233, 625-633 (c) 1986. Dicetak wang sein panei Gambar 6.1 Model rangkaian saraf dengan komponen elektronik. dipertahankan pada model ini meliputi: Konsep neuron sebagai transdusel masukan ke keluaran dengan respons sigmoid yang mulus hingga sua ‘tingkat keluaran maksimum, perilalu integratif dari membran sel, seju besar hubungan pembanglitan dan penghambatan, sifat umpan-balik da hhubungan antar neuron, dan kemampuan untuk bekerja dengan neuror dengan respons bertahap maupun neuron yang menghasilkan potensi aksi. Perlu diperhatikan bahwa mode! tersebut mempertahankan dua as komputasi yang penting, yaitu dinamika dan nonlinearitas.Mode! Hopfeld dan Hoppensteadt 157 6.2.3 Elemen Neural Nilai-Diskrit lawan Nilai-Kontinu Hopfield (1984) menunjukkan bahwa neuron dengan respons bertahap meriliki sifat komputasional kolektif seperti pada neuron kondisi ganda (two-state). Semua sifat dari model neuron McCulloch Pitts dipertahankan dalam model analog; hal ini dapat dilihat sebagai suatu maksud untuk menggunakan sister neural analog untuk menangani masalah kombinato- vial. Jika sistem analog menggunaktan rangkaian penguat operasional, resis- tor, dan kapasitor — misalkan untuk membangun suatu memori yang dapat dialamati berdasarkan isinya (content-addressable), model stokastik awal tetap lebih efisien untuk keperluan simulasi pada komputer digital. Kembali kepada jaringan yang dideskripsikan sebelumnya, mengguna- kan neuron McCulloch Pitts keadaan-ganda. Masukan total ke neuron i adalah = LyVy+h Tiap neuron mencuplik masukannya secara stokastik (dan independen ter- hadap semua neuron lainnya). Hal ini menghasilkan suatu modus operasi asinkron (keasinkronan dimaksudkan untuk merepresentasikan suatu kom- binasi antara waktu tunda pada propagasi jitter, dan derau dalam sistem neural nyata). Aturan untuk perubahan keadaan (state) dalam sistem ini dapat dinyatakan sebagai Wave if TUM FL U, di mana U; adalah tingkat ambang (threshold) dan V ? dan V } adalah kedua keadaan/state dari neuron McCulloch Pits. Selama sistem ini dikarakterisasi oleh sekumpulan keadaan stabil, sede- mikian sehingga jika sister dinisialisasi pada suatu posisi yang mendekati salah satu keadaan tersebut sistem akan bergerak ke keadaan tersebut, maka sistem ini berfungsi sebagai suatu memori asosiatif/dapat dialamati berdasarkan isinya. Dapat diperlihatkan bahwa aliran konvergen ke keada-158 Pengantar Jaringan Neural an-keadaan stabil pasti terjadi jika matriks konduktivitas sinapsis T bersifat simetris dengan elemen diagonalnya nol. Misalkan suatu fungsi ‘energi’ =-FEUnuy- Save Sew Setiap perubahan dalam sebarang V; membawa akibat perubahan dalam E, sebagai berikut: [Snuen- ul Kerena AV; memiliki tanda (+/-) yang sama dengan suku dalam kurung, AE] senantiasa negatif. Lebih jauh lagi, karena E dibatasi, iterasi secukupnya ‘akan menghasilkan keadaan-keadaan stabil Untuk metihat bahwa kasus deterministik memiliki sifat yang sama dalam| aliran ruang:kontinu seperti halnya kasus stokastik dalam aliran ruang disk rit, perhatikan fungsi energi berikut ini: 1 ape eee Ve D2 few = E=-DEINUY, SE's vv + SLM. Turunannya terhadap waktu adalah: ge _y a : a 5Gi(sny R, ‘) dV, du, OR a carn).Model Hopfield dan Hoppensieadt 159 Di sini C, berilat positif dan g 7}(V) monotonik naik. Karena itu, dE/4t § 0. dEJdt = 1 berakibat dV;/dt = O untuk semua i. Karena itu, pergerakan yang terjadi mencari nilat minimum dari E dan berhenti pada titik tersebut ‘Terdapat suatu Korespondensi yang sangat dekat antara keadaan stabil pada model stokastik dan deterministik. Berikut ini diasumsikan beberapa ‘hal untuk kasus kontinu. Ambil V? <0 < V}, maka nilai nol dari tegangan_ untuk tiap V; dipilih sedemikian sehingga g(0) = 0 untuk semua i. Diasumsi- kan bahwa untuk semua nila i, terdapat asimptot pada +1 dan -1. Kedua suku pada fungsi energi untuk kasus kontinu. akan dibahas terpisah, Karena E adalah suatu fungsi linear dari suatu V, tunggal sepanjang sisi suatu kubus, maka nilai ekstrim energi untuk suku 1 E TIT“ untuk ruang diskrit V, = +1, -1 adalah sudut-sudut yang sama seperti nilai ekstrim energi untuk kasus kontinu V°<0< V} Untuk mempelajari pengaruh kecuraman hubungan sigmoid antara ma- sukan dan keluaran dalam hubungannya dengan keadaan stabil dari kedua model tersebut, dilakukan penyesuaian skala sebagai berikut Vi=giu) menjadi V; = gf Au) dan u=gi(V) menjadi ‘Suku kedua dalam E (kasus kontinu) sekarang menjadi: Led wav Lagfeme V; mendekati +1 atau -1, nila integral dalam rumus tersebut menjadi sangat besar. Meskipun demikian, dalam kasus penguatan yang sangan tinggi (4 sangat besar), pengaruh keseluruhan dari suku ini dapat diabaikan, Karena itu, nilai ekstrim hanya disebabkan oleh suku pertama. Demikian160 Pengantar Jaringan Neural 6.2.4 pula, titik stabil untuk sistem kontinu-deterministik dengan penguatan sa- rgat tinggi berkorespondensi dengan titik stabil pada sistem stokastik. Jika 4 tidak mendekati takc-berhingga tetapi masih cukup besar, suku kedua ini menyebabkan permukaan energi memiliki nilai maksimum pada sudut dan nilai minimurn yang sedikit bergeser ke arah bagian dalam dari suatu hypercube. Jika A menjadi semakin kecil, nila minimum bergerak lebih ke dalam (masih terdapat satu minimum yang berkorespondensi dengan tiap maksimum). Jika J terus diperkecil,nilai minimum mulai menghilang karena ‘menyatu dengan suatu tiik pelana (saddle point), hingga untuk 2 = 0 hanya terdapat satu minimum pada V; = 0. Konsep Energi Minimal: Motivasi di belakang Dinamika Jaringan Suatu bentuk umum rangkatan dideskripsikan oleh nilat sinapsis T;;dan arus masukan Jj. Keadaan/state dari sistem neuron dinyatakan oleh nilai keluar- an V; (yaitu keluaran dari penguat yang digunakan untuk memodelkan suat neuron). Dalam suatu ruang geometris dengan sumbu kartesian untuk tiap keluaran neuron, keadaan sesaat dinyatakan oleh suatu titik. Untuk suatu rangkaian dengan nilai hubungan sinapsis sebarang, trayektori (alur gerak) dari tite ini dapat sangat kompleks. Suatu rangkaian simetris didefinisikan memiiliki kekuatan/bobot serta tanda (+/-, pembangkit atau penghambat) sinapsis pada hubungan antara neuron i ke j yang sama dengan pada hubungan antara neuron j ke i. Sifat simetri dari hubungan tersebut meng- hasilkan suatu teorema tentang perilaku sistem, yang menunjukkan bahwa suatu besaran matematis E, yang dapat dipandang sebagai energi komputa- sional, mengalami penurunan selama perubahan keadaan neuron terhadap waktu dan dinyatakan dengan persamaan sebelumnya. Energi ini adalah suatu besaran global yang tidak hanya dialami oleh suatu neuron tunggal, dan dapat digunakan untuk memahami mengapa sistem berperi-laku sede- mikian. Konsep besaran ini mempunyai Kemiripan dengan konsep entropi dalam gas sederhana, Karena secara umum E diminimisasi sejalan dengan perhitungen yang dilakukan rangkaian, dinamika sistem menghasilkan suatu jalur dalam] ruang, yang cenderung meminimisasi-energi dan dengan demikian juga meminimisasi fungsi harga (cost-function). Suatu saat, suatu konfigurast ke adaan stabil yang berkorespondensi dengan suatu minimum lokal dari fungsiModel Hopfield dan Hoppensteadt 161 E, akan tercapai. Solusi permasalahan kemudian didekodekan dari konfigu- vas ini, Dalam kasus penguatan tinggi (high-gain) yaitu di mana hubungan sigmoid masukan-keluaran sanget curam, fungsi energinya adalah: Be -SEnMY- Shu. 6.2.5 Penerapan Jaringan Hopfield: Masalah Penjual Keliling (Traveling Salesman Problem — TSP) Hopfield (1985, 1986) menggunakan jaringan neural dan prinsip minimis- asi energi yang bethubungan dengan jaringan tersebut — sebagaimana diberikan sebelumnya — untuk menghasilkan suatu solusi bagi masalah penjual keliling ‘NP-lengkap’. Masalah tersebut adalah sebagai berikut: suatu himpunan yang terdiri dari n kota A, B, C, memiliki nilai yang menyatakan jarak pemisah antara dua kota dap, dac, ... dec, .... Twhuan pemecahan masalah adalah untuk mencari jalur/rute tertutup yang terpendek yang melalui tiap kota hanya satu kali dan akhimya kembali ke kota tempat rute tersebut dimulai. Masalah ini kemudian dipetakan pada jaringan neural sebagai berikut. Suatu vektor baris dengan panjang n digunakan untuk menunjukkan letak dari suatu kota tertentu selama perjalanan. Jadi,jtka kota x adalah kota ketiga dalam perjalanan tersebut, maka entry ketiga dalam vektor tersebut benilai 1 sedangkan yang lainnya bernilai 0. Dengan demikian, tiap kota memiliki satu vektor baris sendiri. Jika digabungkan, kita peroleh suatu ‘matriks berukuran n * n, sehingga masalah penjual kelling dengan n kota ini jika dipetakan ke jaringan neural akan memerlukan n® neuron. Perlu diper- hatikan bahwa sebarang matriks permutasi merepresentasikan suatu per- jalanan melalui kota-kota tersebut (satu-satunya persyaratan untuk suatu perjalanan, jika dipandang dari -entry matriks tersebut, adalah bahwa tiap baris dan tiap kolom harus berisi satu dan hanya satu entry 1 dan entry lainnya harus 0). Setiap matriks dari sojurnlah n! permutasi matriks berkorespondensi dengan suatu trayek perjalanan yang dapat dilakukan, di mana terdapat beberapa yang mempunyai jarak yang sama. Terdapat n!/2n jalur yang berbeda (distinct) untuk rute tertutup dari masalah penjual keliling ini Dalam peribahasan berikut, digunekan simbol dengan bentuk Vx, di mana162 Pengontar Jaringan Newral X adalah nama kota dan j adalah posisi kota tersebut dalam perjalanan yang difakukan. Pertimbangan berikut ini penting dalam menurunkan fungsi energi vang akan diminimisasi dalam perhitungan. Keadaan (state) yang merepresenta- sikan matriks permutasi harus stabil'Lebih jauh lagi, sejumlah n!/2n keada- an yang berkorespondensi dengan perjalanan terpendek harus merupakan keadaan yang ‘disukai’ (favored). Fungsi energi diminimisasi terhadap 2" titiktitik sudut dari hypercube berdimensi N yang didefinisikan oleh tiap Vi = O atau 1. Jika fungsi tersebut mempunyai bentuk sebagai berikut: A dyy VeVi + Viv). “M4 di mana A,B,C>0; maka, masing-masing suku dari keempat suku dalam ekspresi untuk E di atas mempunyai art fisis langsung: 1. Suku pertama bernilai 0 jika dan hanya jika tiap baris berisi tidal lebih dari satu entry 1 2. Suku kedua bemilai 0 jike dan hanya jika tiap kolom berisi tidak lebih dari satu entry 1 Pethatikan bahwa kedua kondis di atas mendefinisikan suatu matriks per- mutasi. 3. Suku ketiga bemilai 0 jika dan hanya jika terdapat n buah entry bemilai 1 dalam seluruh matriks. 4, Suku keempat diminimisasi jika jarak tempuh dalam perjalanan tersebut diminimisasi. Dengan menggabungkan hal-hal di atas, dapat dilihat bahwa jika A, B, dan C memiliki nilai cukup besar, keadaan berenergi rendah (low-energy states) dari suatu jaringan akan membentuk suatu perjalanan yang valid. Energi total dari suatu keadaan yang valid merupakan jarak tempuh dalamModel Hopfield dan Hoppensteadt 163 erjalanan tersebut, dan keadaan dengan jalur terpendek adalah keadaan dengan tingkat energi terendah. Konektivitas sinapsis sekarang dapat dinyatakan dalam pengertian fungsi energi, sebagai berikut: Tay = ABA 1-5) hhubungan penghambat dalam suatu baris = BBL) hubungan penghambat dalam suatu kolom -¢c penghambatan secara keseluruhan = -Ddyy6ji0143,2) suku data, di mana 8) bemilat 1 jika ij, selain itu bemnilat 0. Akhirnya, arus pembias masukan diberikan oleh hubungan: Ix; = Cn. Peru pula dipertimbangkan keuntungan yang diperoleh dengan beralih dari model neuron diskrit McCulloch-Pitts kepada fungsi masukan-keluaran sigmoid. Suatu pengamatan yang dilakukan terhadap keadaan dari n® neuron tersebut pada suatu waktu sebarang, tidak perlu menghasilkan suatu matriks permutasi. Sebagaimana dijelaskan oleh Hopfield (1985), domain sebenamya dati fungsi jaringan tersebut adalah seluruh hypercube (ter- ‘masulk interior dan bukan hanya titik sudut). Jika fungs! tersebut tidak berada pada salah satu tit sudut, terdapat paling tidak satu neuron yang nilai eluarannya buken 0 atau 1 melainkan suatu nilai di antaranya. Neuron dengan keadaan tak jelas ini menunjukkan kemungkinan dari suatu kota untuk berada pada suatu posisi tertentu dalam perjalanan yang dilaktukan. Karena itu, jika neuron (2,3) dan (2,6) memiliki keluaran di antara 0 dan 1, maka sistem tersebut secara simultan membuat anggapan untuk kemung- kinan kota ke-2 dikunjungi pada posisi ke-3 atau ke-6. Adanya pertim- bangan beberapa rute perjalanan secara simultan ini membuat sistem tersebut efisien. Proses pengambilan keputusan ini berisi suatu pergerakan yang mulus dari suatu titik awal dalam interior hypercube berdimensi n164 Pengantar Jaringan Neural tersebut ke suatu tik yang cukup dekat dengan suatu titik sudut dari hypercube tersebut, cukup dekat untuk diidentifikasikan ke fitk sudut tersebut. Pada sebarang titik interior (di mana konsep dari suatu perjalanan tidak terdefinis), paling tidak satu kota dapat berada dalarn lebih dari satu posisi dalam perjalanan tersebut dengan kemungkinan yang berbeda-beda. Pembahasan yang iebih lengkap mengenal penggunaan neuron respons- bertahap lawan neuron dwikeadaan diberikan dalam Sub-bab 6.2.4. Perlu disebutkan pula beberapa karya dari Platt (1987) dalam bidang optimisasi diferensial berkendala (constrained). Kriteria eksternal kadang- kadang membatasi ruang keluaran yang dapat diterima dalam masalah optimisasi. Karena itu, versi tanpa batasan kendala (unconstrained) dari masaléh penjual Kelling ini bertujuan agar jarak tempuh total diminimisasi Batasan yang terdapat dalam versi yang kita bahas adalah bahwa si penjual hanya sekali saja mengunjungi tiap kota. Secara umum, masalah optimisasi berkendala dapat dinyatakan sebagai berikut: minimisasi fx) dengan gtx) = 0 di mana x menyatakan keadaan dari jaringan neural. Evolusi dari keadaan jaringan selama optimisasi berkendala ini harus sedemikian sehingga keada- an tersebut ditarik ke sub-ruang (subspace) kendala, dan kemudian bergerak menyusurinya hingga sampai pada suatu nilai terendah lokal dari fungsi f. Pendekatan konvensional terhadap optimisasi berkendala meliputi me- tode hukuman (penalty) dan metode pengali Lagrange. Kedua metode ini mengubah suatu masalah berkendala menjadi masalah tanpa kendala. Dalam metode pertama, bentuk tanpa kendala adalah sebagai berikut minimize epoa(X) = (3) + ofg(2)) Jika ¢ menjadi sangat besar, metode ini akan menghasilkan konvergensi secara global ke minimum yang diinginkan dari fungsi f. Dalam metode pengali Lagrange, pethatikan hubungan: ean) = F(R) * AB) Di sini, suatu solusi dari fungsi mula-mula merupakan suatu ttik kritis dari Bagange Metode yang disarankan oleh Platt (1987) vaitu metode pengali diferen- sial dasar (Basie Differential Multiplier Method — BDMM) merupakan suatu alternafif bagi penurunan gradien diferensial yang mengestimasi pengaliModel Hopfield dan Hoppensicadt 165 Lagrange. Teknik penurunan gradien (gradient descent) jika diterapkan ppada Seyanse akan menghasilkan: Sayang sekali bahwa karena suatu titi krits dari Sayan tidak harus merupa- kan suatu penarik (attractor) bagi sistem ini, teknik penurunan gradien tidak dapat digunakan dengan pengali Lagrange. Meskipun demikian, suatu per- ubahan sederhana yang mengjinkan penaikan gradien pada Z menjamin bbahwa titik kritis dari Gsange Merupakan attractor dari persamaan diferen- sial berikut (yang juga menyelesaikan masalah optimisasi berkendala yang mula-mula): Persamaan ini merupakan penyusun dari BDMM. Untuk melihat bahwa sistem ini sebenamya mengalami osilasi teredam, persamaan diferensial tersebut digabungkan sehingga diperoleh: sano 3x, 88, +3 5x, 5x, Matriks redaman dalam sistem ini adalah: ‘Tanpa perlu melalui penjelasan secara lebih mendetail, dapat diperlihatkan bahwa BDMM senantiasa konvergen jika masalah optimisasi berkendala tersebut mempunyai suatu fungsi kuadrat f, dan fungsi kendala g merupakan,166 Pengantar Jaringan Neural suatu fungsi piecewise linear yang kontinu. Hal ini telah memunculkan nama quadratic programming. BDMM telah digunakan untuk menemukan solusi yang memuaskan untuk masalah penjual Kelling yang planar (dua dimensi. Elemen dari suatu kurva ‘ular’ yang telah didiskritkan adalah titik (X,Y) pada suatu bidang Tujuan yang akan dicapai adalah untuk: minimize S (x, dengan batasan Kfcxg) = O dan K(y"-y) Di sini (x',y') adalah koordinat kota dan (x...) adalah titik pada kurva ‘ular’ yang paling dekat dengan kota tersebut. Hal yang penting diperhatikan adalah bahwa ini merupakan suatu program kuadratis, dan dengan demikian BDMM dapat diterapkan dengan efehtif. Masalah penjual keliling merupakan suatu contoh yang baik untuk meng- gambarkan penggunaan teknik jaringan neural untuk memecahkan masalah optimisasi yang sult, Dalam hal tertentu dari masalah ini, perlu diingat bahwa terdapat heuristik yang sangat baik yang melampaui kinerja dari jaringan neural. Sebagai contoh adalah hal di mana kota dalam masalah ini mengikuti suatu ketidaksamaan segitiga, yaitu di mana jarak langsung antara dua kota sebarang lebih kecil dari jarak antara keduanya tetapi melalui suatu kota ketiga. Masalah ini dapat dipandang sebagai suatu graph di mana kota tersebut merupakan titik ujung (vertex) dan jalur penghubung tik tersebut diberikan nilaijarak antar kota. Terdapat algoritma polinomial waktu (poly- nomial time algorithm) untuk menemukan suatu spanning tree minimum dari graph tersebut (dalam istilah teori graph, suatu spanning tree dari suatu graph adalah suatu subgraph yang memiliki semua titik vertex dari graph asalnya serta jalur penghubung (edge) secukupnya sedemikian se- hhingga semua titik tersebut terhubung dan hanya ada satu jalur di antara sepasang titik sebarang). Heuristik yang dianjurkan untuk mengubah suatu spanning tree minimum menjadi suatu solusi yang memuaskan untuk masalah penjual keliing ini meliputi pengunjungan semua kota dengan merunut dua kali sekeling tree tersebut dan menggunakan beberapa jalan pintas yang dimungkinkan oleh ketidaksamaan segitiga tersebut untuk mem-Model Hopfield dan Hoppensieadt 167 pperoleh suatu trayek perjalanan yang tidak lebih panjang dari dua kali dari trayek yang diberikan oleh suatu solusi optimal untuk masalah ini. Heuristik ini telah diperbaiki dengan pémakaian teknik pencocokan (matching) oleh Christofides, dan dengan trayek Euler, sehingga menghasilkan suatu trayek yang tidak lebih panjang dari 1.5 kali yang diberikan oleh solusi optimal. Hasil karya Garey (1979) dapat digunakan untuk bahan penjelasan lebih lanjut untuk hal ini dan heuristik-heuristik lainnya, 6.2.6 Penerapan Jaringan Hopfield — Masalah Pengolahan Citra Koch (1986) mempelajari kemungkinan penerapan jaringan Hopfield untuk masalah dalam pengolahan citra. Penghitungan kedalaman dari citra stereo- skopik, rekonstruksi dan penghalusan citra dari data yang tidak lengkap, dan penghitungan pergerakan adalah masalah dalam pengolahan citra yang dapat diselesaikan dengan menggunakan teori regularisasi standard. Teknik ini menyelesaikan masalah tersebut dalam bentuk fungsi energi kuadratis yang harus diminimisasi. Suatu contoh masalah yang sesuai dengan metode ini adalah rekonstruks! permukaan yang halus (smooth surface reconstruc- tion). Umumnya nilat kedalaman dari suatu obyek hanya diberikan pada titik tertentu (secara altemnatif, dapat pula diketahui nilai kedalaman dalam jum- lah yang cukup, namun datanya senditi penuh dengan derau). Pada dasarnya, permukaan dari obyek harus diinterpolasi di antara titik yang tidak diperoieh datanya. Ini berhubungan dengan tugas untuk menemukan suatu permukaan yang ‘paling cocok’ antara titik tersebut. Energi atau fungsi biaya yang akan diminimisasi E{)) yang diturunkan dari masalah inves, Bied+n dimana d= data, n= derau (noise), dan B= operator linear diberikan oleh EQ) = 1 1Bf-di 1? + al IS#IL®,168 Pengantar Jaringan Neural B dan d diketahui, sedangkan f akan dihitung. Suku pertama dalam E menunjukkan jarak dari solusi ke data, dan suku kedua berkoresponden: dengan suatu peregularisasi yang diperluken untuk membuat masalah terseb teratur dengan baik. Untuk interpolasi permukaan, B adalah suatu matri diagonal yang elemennya sama dengan 1 pada lokasi di mana kedalam. diketahui, selain itu 0. Koch (1986) menunjukkan bahwa E dapat direde finisikan sebagai Uv) =F ETM + DV Redefinisi ini membutuhkan penggantian: T dengan 2(B"B + oS"), Vedengan f, 1, dengan -2B"d, dan pembuangan suku konstan dd. (simbol ini memiliki arti yang samal dengan artinya dalam solusi jaringan saraf untuk masalah penjual Kelling) Tiap neuron di-ground dengan suatu susunan paralelresistansi dan kapast tansi. Ekspresi untuk L dapat diartikan sebagai fungsi Lyapunov dari jaring| an tersebut. Perubahan potensial diberikan oleh: wat dt Wy, Prinsip variasional kuadratis yang dapat dinyatakan dalam bentuk seba} geimana EV) dinyatakan di atas dan dapat diselesaikan dengan suatu jaring: an elektronik yang sesuai, di mana hubungan dapat diimplementasikan| dengan resistansi ohmik linear dan data direpresentasikan dengan arus yang| diinjeksikan Teor regularisasi standard hanya dapat diterapkan pada fungsi energ yang konvels. Dengan demikian, cara yang dijelaskan di atas tidak dapat digunakan jika terdapat diskontinuitas (metode interpolasi permukaan yang| digunakan dalam rekonstruksi permukaan halus tidak dapat berfungs jikal terdapat ketidak-kontinuan). Koch (1986) memberikan suatu perluasan dariModel Hopfield dan Hoppensieadt 169 teknik Hopfield dalam bentuk proses-proses garis (line processes). Gagasan dari proses ini adalah sebagai beriktut. Untuk rekonstruksi permukean, sebagai contoh, dua field acak Markov yang bergandengan (coupled) digu- nakan untuk memodelkan permukaan. Salah satunya adalah suatu field bemilai kontinu yang berkorespondensi dengan kedalaman f; pada lokasi i. Yang lainnya adalah suatu field biner (proses gars) yang variabelnya(terletak pada tempat di antara kisi-kisi kedalaman/depth lattice). menunjukkan apakah terdapat suatu diskontinuitas di antara dua kisi-kist kedalaman atau tidak. Teori Bayes memperlihatkan bahwa perkiraan terbaik untuk permu- kaan tersebut berkorespondensi dengan minimisasi global dari suatu fungsi energi yang bentuk satu dimensinya diberikan oleh hubungan: ELM = Lifes — fh) + eo Lf dP + ev Dh, di mana h, adalah proses gars biner. Faktor hy ini memasukkan minimum lokal ke dalam fungsi energi dan ‘menyebablian fungsi tersebut tidak kuadratis. Mengikuti Hopfield (1984), Koch (1986) memetakan proses garis biner tersebut kepada variabel kon- tinu yang dibatasi antara 0 dan 1. Fungsi energi yang dihasilkan terminimis- asi pada titik sudut dari hypercube (meskipun fungsi energi tersebut mengandung suku-suku berderajat tiga). 6.2.7 Reduksi Fenomena Pergetaran dalam Jaringan Hopfield Di atas telah kita bahas implementasi elektronik suatu jaringan neural oleh Hopfield dan Tank. Cukup menarik pula untuk memperhatikan bagaimana para peneliti menangani hal-hal praktis yang muncul dalam implementasi model tersebut. Sebagai contch, masalah dunia nyata banyak berurusan dengan angka, sehingga harus ada cara untuk menyatakan angka-angka dalam suatu jaringan neural (hal ini akan dibahas dalam sub-bab berikut), Contoh lain diberikan oleh Takeda (1986) yang menunjukkan bahwa dalam model waktu-diskrit yang mereka pergunakan timbul perilaku per- sgetaran (oscillatory) jika T, tidak nol. Hal ini dapat menghalangi konver- ¢gensi ke arah minimum dalam ruang-keadaan. Mereka menggunakan em- pat modus transisi waktu-diskrit dalam upaya mengurangi osilasi ini (ihat Gambar 6.2)170. Pengantar Jaringan Neural idan Uimasing-masing aalah potensial masukan dan potensial keluaran. adalah arus pembias. Pola penis ‘upan sald eakar SI/ menentukan modus vansil yang digurakan dalam model Dian dari Takode, “Neural Networks for Computaton: Number Representations and Programming Complex} ‘ty Applee Optics, 25, No. 18, 3092-3046.) 1986 Amencan inttuta of Pryss. Dcotak ulang sejn penerb, Gambar 6.2 Suatu Model Jaringan Neural Modus Transisi Sinkron Langsung. Saklar SW, terhubung secara sif- kron sehingga menyebabkan transisi simultan pada waktu diskrit k. Suo| fungsi nonlinear kontinu g(x) memungkinkan neuron mempunyai nilai li antara 0 dan 1 Usk) = DT MIR) + Be Vike+1) = IU] Modus Transisi Sinkron Diferensial. Transisi terjadi secara sinkrop, tetapi dalam hal ini diatur oleh persamaan perbedaan (difference equation) Implikasi bagi perangkat keras untuk metode ini adalah perlunya suatu $21 ‘memor untuk tiap neuron, untuk menyimpan masukan sebelumnya.Model Hopfield dan tloppensteads 71 Usk) ~ Udk = 1) = DTVVA) + 1, V(k+1) = glUAk)). Modus Transisi Asinkron Langsung (Penundaan Acak). Satu-satunya perbedaan antara modus ini dengan modus transisi sinkron langsung adalah bahwa dalam modus ini saklar terhubung dan terputus (on dan off) secara asinkron (yaitu dengan penundaan acek). Teak = Mt) +h, Vik = At + 2) = afte = Any] di mana At, = penyimpangan yang ditimbulkan oleh waktu tunda (kurang dari satu siklus clock), dan konstanta positif yang kecil suatu neuron tertentu tidak perlu menunggu neuron lainnya diperba- harui sebelum melakukan pembaharuan terhadap dirinya sendiri, Suatu neuron juga dapat memanfaatkan informasi mengenai keadaan yang ban: dari neuron lain yang telah memperbaharui keadaan masing-masing, Modus Transisi Asinkron Diferensial (Penundaan Acak). Ini adalah versi asinkron dari modus transisi sinkron diferensial Uk = At) — Uk = At = 1) = ET Ylk = sty + U{k ~ At, + €) = g(UAk ~ At) ~ Usk - At - 0). Dalam kasus di mana T; tidak nol, metode-metode sinkron tidak mem- berikan solusi untuk masalah osilasi. Karena itu, suatu pillhan yang sesuai harus bergantung pada aplikasinya dan harus disusun (secara ideal) dari modus transisi asinkron langsung maupun diferensia.152 Pengantar Jaringan Neural 6.1 Pendahuluan Bab ini membahas dua pendekatan umum untuk jaringan besar. Men\ Hoppensteadt (1986), pendekatan pertama yaitu jaringan Hopfield d- dasarkan pada penentuan apakah suatu sel saraf melakukan 'penembakay’ (firing) atau tidak, sedangkan yang kedua lebih bergantung pada sinkr isasi frekuensi ‘penembakan’. Bagian pertama dari bab ini membah: jaringan Hopfield serta menjelaskan bahwa jaringan ini tidak hanya day digunakan sebagai memori asosiatif, tetapi dapat pula digunakan unt menyelesaikan masalah optimisasi. Suatu pembahasan mengenai kerangh kerja konseptual baru untuk perhitungan yang dikembangkan oleh Hopfiel dan Tank akan menyertai pengembangan teori memori asosiatif dan reprq- sentasi informasi secara terdistribusi yang dibahas dalam Bab 2. Meskiy ‘materi yang dibahas bukan merupakan bahan mendasar untuk memahargi mekanisme penyusun aplikasi yang akan dibahas selanjutnya, ulasan ter}- tang jaringan Hopfield ini bersama teori memori asosiatif akan sang membantu. Dalam bab ini diberikan pula secara cukup terperinci di contoh aplikasi jaringan Hopfield, yaitu solusi masalah penjual keliling (tr veling salesman problem) dan masalah pengolahan citra. Diberikan pu pengantar kepada usaha yang dilakukan untuk mengembangkan implemer} {asi optik dari jaringan Hopfield. Kemudian akan dibahas perbedaan per} ting yang harus dibuat antara kompleksitas komputasional dan komplekst pemrograman, yang dibahas dalam konieks solusi traveling salesma| problem. Bagian selanjutnya dari bab ini membahas hasil karva Hoppenst. dalam pengendalian jaringan besar dengan sinkronisasi frekuensi ‘pene ‘bakan’. Pendekatan permukaan energi yang dirintis dalam jaringan Hopfie juga diterapkan dalam jaringan Hoppensteadt. Secara khusus, Hopper steadt (1986) menunjukkan kemungkinan untuk mengasosiasikan suat fungsi energi dengan penguncian fasa (phase-locking) dari suatu jaringé csilator elektronik. Untuk itu diberikan pembahasan mengenai penguncié fasa serta bagaimana penerapannya pada jaringan Hoppensteadt dala neuron osilator terkontrol tegangan (voltage controlled oscillator neuror - VCONS). Jatingan Hopfield menggunakan teknik releksasi untuk melakukan pey- carian dengan banyak batas (multiple constraint search). Untuk itu dibex}-Model Hopfield dan Hoppensteadt 153 kan penjelasan umum mengenai search dengan metode relaksasi serta pembahasan penerapan simulated annealing pada jaringan Hopfield untuk menghindari konvergensi ke minimum lokal. Ini kemudian menuntun ke pembahasan algoritma belajar pada mesin Boltzmann, 6.2 Model Hopfield-Tank 6.2.1 Latar Belakang Biologis Hopfield (1986) memperkenalkan suatu rangkaian yang terdiri dari neuron. (model sel saraf) dengan mode! respons yang bertingkat dan tak linear, yang disusun menjadi jaringan dengan hubungan sinapsis yang simetrik. Rang kaian ini dapat ciimplementasikan dengan komponen elektronik, dan me- mungkinkan penyelesaian dari masalah kompleks (seperti yang dijumpai dalam bidang biologi) tanpa harus mengikuti aspek dinamika rangkaian. Pada dasamya, sekumpulan penguat/amplifier (citi-ciri rangkaian yang paling mendasar akan dibahas kemudian) menirukan sekumpulan neuron, dengan kepadatan tinggi. Hambatan (resistansi) dan kapasitansi digunakan untuk memodelkan hubungan antara sel-sel saraf (neuron). Tujuan utama dari penelitian yang dilakukan ini adalah untuk mempelajari perubahan pada hubungen antar neuron tersebut, dalam menirukan suatu sistem dinamik yang sederhana. Dalam pembahasan teoritis mula-mula, model neuron biologis dari Me Calloch-Pitts dipandang sebagai elemen pengambil keputusan logika yang dinyatakan sebagai variabel keadaan (state-variable) yang mempunyai dua nila, Elemen ini kemudian disusuin dalam jaringan pengambil keputusan logika yang dapat mengolah fungsi Boolean sederhana. Secara umum, model dari McCulloch-Pitts ini tidak mempunyai dua aspek penting dari neuron/rangkaian neuron biologis, yaitu pengolahan secara analog dan tingkat antarhubungan yang tinggi Kita mengasumsikan bahwa arus masukan dari semua jalur ke tiap unit dalam jaringan, berinteraksi secara sederhana dalam bentuk penjumlahan arus masukan. Bentuk interaksi yang lebih kompleks diabaikan. Penyeder- hanaan lain yang dilakukan adalah dengan hanya menangani peristiwa (event) sinapsis yang cepat; maksudnya adalah, pada saat suatu fluktuasi tegangan (potensial) terjaci pada ujung presinaptik dari suatu sinapsis154 Pengantar Jaringan Neural kimiawi, maka suatu perubahan kensentrasi neurotransmitter akan diikut (dengan sedikit terlambat) oleh timbulnya suatu arus pada sel berikutny. yang tethubung pada sinapsis tersebut (postsynaptic). Diasumsikan bahw keterlambatan ini jauh lebih kecil daripada konstanta waktu dari membrat neuronnya. Karena itu, suatu perubahan potensial dalam sel j menimbulka statu. perubahan Konduktansi sesaat dalam sel postsinaptik i. Besamy, perubahan konduktansi ini bergantung pada sifat dan kekuatan sinapsis day sel j ke sel i. Laju penembakan (firing rate) dari sel i dapat dinyatal dengan fungsi f{u). Dalam pemodelan, dua variabel menyatakan keadaat dari neuron i: potensial masukan efektif u; dan laju penembakan keluar flu). Kekuatan arus sinapsis yang memasulki suatu neuron postsinaptik j vyang ditimbulkan oleh suafu neuron presinaptik i adalah sebanding dengaa hasil kali antara keluaran sel presinaptik (f(u)) dan kekuatan sinapsis dari s i ke sel j (T3). Bentuk ini sangat mirip dengan aturan Hebb. 6.2.2 Implementasi Elektronik Hopfield (1985) memberikan beberapa citi rangkaian elektronik yang dig nakan untuk mengimplementasikan jaringan ini, Terdapat tiga sumber para- lelisme yang inheren dalam sistem ini, yaitu: (1) jalur masukan paralel; (4 jalur keluaran paralel; dan (3) tingkat antarhubungan yang tinggi anta neuron atau amplifier. Penguat (amplifier) yang digunakan untuk memodelkan neuron, men} punyai hubungan masuker-keluaran yang sigmoid dan monotonik V, ‘oft, di mana V; dan u; masing-masing adalah tegangan keluaran dan t gangan masukan. Konstanta waktu dari sel saraf tidak dimodelkan. deng konstanta waktu dari penguat (diabaikan) melainkan dengan suatu resistan masukan spesifik p, (tethubung ke suatu ground referensi) dan suatu kapa tansi masukan c). Suatu sinapsis antar sel saraf didefinisikan oleh sua konduktansi T; (yang diimplementasikan dengan suatu resistansi bernil 1/1 Tj!) yang menghubungkan salah satu dari Kedua keluaran penguat j masukan dati penguat i (iap penguat mempunyai dua keluaran, a+ dan af; ‘untuk suatu sinapsis pembangkit/excitatory, Keluaran diambil dari termingl +, sedangkan untuk sinapsis penghambat/inhibitory, keluaran diambil terminal — ) Dalam banyak kasus, masukan ke suatu sel saraf berasal d keluaran dari seluruh sel lain dalam sistem. Untuk memodelkan sifat sel sargf yang melakukan perhitungan dengan fungsi nonlinear terhadap sejum|Model Hopfield dan Hoppenstead! 185 besar masukan dengan dipengaruhi oleh tingkat aktivasinya sendiri, model elektronik ini menyediakan suatu arus pembias J, untuk tiap sel saraf. Pada dasamya, ini semua memberikan tingkat umum eksitabiltas jaringan terse- but (Gambar 6.1). Persamaan-persamaan diferensial nonlinear berikut ini menyatakan di- namika dari suatu sistem dengan N neuron yang berinteraksi, dengan me- nunjukkan bagaimana variabel keadaan neuronal berubah menurut waktu di bawah pengaruh arus sinapsis. du, & a fae 2M gtk di mana, Vi = afta). Di sini, Rj adalah suatu kombinasi parale! dari resistansi masukan dan re- sistansi yang digunakan untuk memodelkan konektivitas sinapsis: Taree Aline Jika untuk penyederhanaan diasumsikan nilai Ri dan C; konstan, dan jika semua fungsi sigmoid g adalah identik, maka persamaan geralsnya menjadi due ures cape pr ty jt di mana t= RCdan Y= guy. Perlu diperhatikan bahwa untuk memudahkan, dilakukan redefinisi T/C dan 14C menjadi T, dan I Jika nilai awal dari neuron (dalam hal ini, keadaan/state dari penguat) diberikan, sistem persamaan ini mampu memodelkan sepenuhnya proses evolusi kumpulan penguat tersebut terhadap waktu. Sifat biologis dasar yang186 Pengantar Jaringan Neural ™, Ny Ww, Ten onan aL — = T. w A v Keluaran tap neuron dapat merjadk masukan ke neuron lainya, Stal pembangkt dan penghambat dari hu- Dbungan tersabutdtentukan dad terminal pnguat yang menjadi masukan ke penguat lan, apakah terminal nor- ‘mal atau terminal ponbalk (invring). Dan Hoptola, “Computing wih Neural Ckeults: A Mode,"Scence, Vol. 233, 625-633 (c) 1986. Dicetak wang sein panei Gambar 6.1 Model rangkaian saraf dengan komponen elektronik. dipertahankan pada model ini meliputi: Konsep neuron sebagai transdusel masukan ke keluaran dengan respons sigmoid yang mulus hingga sua ‘tingkat keluaran maksimum, perilalu integratif dari membran sel, seju besar hubungan pembanglitan dan penghambatan, sifat umpan-balik da hhubungan antar neuron, dan kemampuan untuk bekerja dengan neuror dengan respons bertahap maupun neuron yang menghasilkan potensi aksi. Perlu diperhatikan bahwa mode! tersebut mempertahankan dua as komputasi yang penting, yaitu dinamika dan nonlinearitas.Mode! Hopfeld dan Hoppensteadt 157 6.2.3 Elemen Neural Nilai-Diskrit lawan Nilai-Kontinu Hopfield (1984) menunjukkan bahwa neuron dengan respons bertahap meriliki sifat komputasional kolektif seperti pada neuron kondisi ganda (two-state). Semua sifat dari model neuron McCulloch Pitts dipertahankan dalam model analog; hal ini dapat dilihat sebagai suatu maksud untuk menggunakan sister neural analog untuk menangani masalah kombinato- vial. Jika sistem analog menggunaktan rangkaian penguat operasional, resis- tor, dan kapasitor — misalkan untuk membangun suatu memori yang dapat dialamati berdasarkan isinya (content-addressable), model stokastik awal tetap lebih efisien untuk keperluan simulasi pada komputer digital. Kembali kepada jaringan yang dideskripsikan sebelumnya, mengguna- kan neuron McCulloch Pitts keadaan-ganda. Masukan total ke neuron i adalah = LyVy+h Tiap neuron mencuplik masukannya secara stokastik (dan independen ter- hadap semua neuron lainnya). Hal ini menghasilkan suatu modus operasi asinkron (keasinkronan dimaksudkan untuk merepresentasikan suatu kom- binasi antara waktu tunda pada propagasi jitter, dan derau dalam sistem neural nyata). Aturan untuk perubahan keadaan (state) dalam sistem ini dapat dinyatakan sebagai Wave if TUM FL U, di mana U; adalah tingkat ambang (threshold) dan V ? dan V } adalah kedua keadaan/state dari neuron McCulloch Pits. Selama sistem ini dikarakterisasi oleh sekumpulan keadaan stabil, sede- mikian sehingga jika sister dinisialisasi pada suatu posisi yang mendekati salah satu keadaan tersebut sistem akan bergerak ke keadaan tersebut, maka sistem ini berfungsi sebagai suatu memori asosiatif/dapat dialamati berdasarkan isinya. Dapat diperlihatkan bahwa aliran konvergen ke keada-158 Pengantar Jaringan Neural an-keadaan stabil pasti terjadi jika matriks konduktivitas sinapsis T bersifat simetris dengan elemen diagonalnya nol. Misalkan suatu fungsi ‘energi’ =-FEUnuy- Save Sew Setiap perubahan dalam sebarang V; membawa akibat perubahan dalam E, sebagai berikut: [Snuen- ul Kerena AV; memiliki tanda (+/-) yang sama dengan suku dalam kurung, AE] senantiasa negatif. Lebih jauh lagi, karena E dibatasi, iterasi secukupnya ‘akan menghasilkan keadaan-keadaan stabil Untuk metihat bahwa kasus deterministik memiliki sifat yang sama dalam| aliran ruang:kontinu seperti halnya kasus stokastik dalam aliran ruang disk rit, perhatikan fungsi energi berikut ini: 1 ape eee Ve D2 few = E=-DEINUY, SE's vv + SLM. Turunannya terhadap waktu adalah: ge _y a : a 5Gi(sny R, ‘) dV, du, OR a carn).Model Hopfield dan Hoppensieadt 159 Di sini C, berilat positif dan g 7}(V) monotonik naik. Karena itu, dE/4t § 0. dEJdt = 1 berakibat dV;/dt = O untuk semua i. Karena itu, pergerakan yang terjadi mencari nilat minimum dari E dan berhenti pada titik tersebut ‘Terdapat suatu Korespondensi yang sangat dekat antara keadaan stabil pada model stokastik dan deterministik. Berikut ini diasumsikan beberapa ‘hal untuk kasus kontinu. Ambil V? <0 < V}, maka nilai nol dari tegangan_ untuk tiap V; dipilih sedemikian sehingga g(0) = 0 untuk semua i. Diasumsi- kan bahwa untuk semua nila i, terdapat asimptot pada +1 dan -1. Kedua suku pada fungsi energi untuk kasus kontinu. akan dibahas terpisah, Karena E adalah suatu fungsi linear dari suatu V, tunggal sepanjang sisi suatu kubus, maka nilai ekstrim energi untuk suku 1 E TIT“ untuk ruang diskrit V, = +1, -1 adalah sudut-sudut yang sama seperti nilai ekstrim energi untuk kasus kontinu V°<0< V} Untuk mempelajari pengaruh kecuraman hubungan sigmoid antara ma- sukan dan keluaran dalam hubungannya dengan keadaan stabil dari kedua model tersebut, dilakukan penyesuaian skala sebagai berikut Vi=giu) menjadi V; = gf Au) dan u=gi(V) menjadi ‘Suku kedua dalam E (kasus kontinu) sekarang menjadi: Led wav Lagfeme V; mendekati +1 atau -1, nila integral dalam rumus tersebut menjadi sangat besar. Meskipun demikian, dalam kasus penguatan yang sangan tinggi (4 sangat besar), pengaruh keseluruhan dari suku ini dapat diabaikan, Karena itu, nilai ekstrim hanya disebabkan oleh suku pertama. Demikian160 Pengantar Jaringan Neural 6.2.4 pula, titik stabil untuk sistem kontinu-deterministik dengan penguatan sa- rgat tinggi berkorespondensi dengan titik stabil pada sistem stokastik. Jika 4 tidak mendekati takc-berhingga tetapi masih cukup besar, suku kedua ini menyebabkan permukaan energi memiliki nilai maksimum pada sudut dan nilai minimurn yang sedikit bergeser ke arah bagian dalam dari suatu hypercube. Jika A menjadi semakin kecil, nila minimum bergerak lebih ke dalam (masih terdapat satu minimum yang berkorespondensi dengan tiap maksimum). Jika J terus diperkecil,nilai minimum mulai menghilang karena ‘menyatu dengan suatu tiik pelana (saddle point), hingga untuk 2 = 0 hanya terdapat satu minimum pada V; = 0. Konsep Energi Minimal: Motivasi di belakang Dinamika Jaringan Suatu bentuk umum rangkatan dideskripsikan oleh nilat sinapsis T;;dan arus masukan Jj. Keadaan/state dari sistem neuron dinyatakan oleh nilai keluar- an V; (yaitu keluaran dari penguat yang digunakan untuk memodelkan suat neuron). Dalam suatu ruang geometris dengan sumbu kartesian untuk tiap keluaran neuron, keadaan sesaat dinyatakan oleh suatu titik. Untuk suatu rangkaian dengan nilai hubungan sinapsis sebarang, trayektori (alur gerak) dari tite ini dapat sangat kompleks. Suatu rangkaian simetris didefinisikan memiiliki kekuatan/bobot serta tanda (+/-, pembangkit atau penghambat) sinapsis pada hubungan antara neuron i ke j yang sama dengan pada hubungan antara neuron j ke i. Sifat simetri dari hubungan tersebut meng- hasilkan suatu teorema tentang perilaku sistem, yang menunjukkan bahwa suatu besaran matematis E, yang dapat dipandang sebagai energi komputa- sional, mengalami penurunan selama perubahan keadaan neuron terhadap waktu dan dinyatakan dengan persamaan sebelumnya. Energi ini adalah suatu besaran global yang tidak hanya dialami oleh suatu neuron tunggal, dan dapat digunakan untuk memahami mengapa sistem berperi-laku sede- mikian. Konsep besaran ini mempunyai Kemiripan dengan konsep entropi dalam gas sederhana, Karena secara umum E diminimisasi sejalan dengan perhitungen yang dilakukan rangkaian, dinamika sistem menghasilkan suatu jalur dalam] ruang, yang cenderung meminimisasi-energi dan dengan demikian juga meminimisasi fungsi harga (cost-function). Suatu saat, suatu konfigurast ke adaan stabil yang berkorespondensi dengan suatu minimum lokal dari fungsiModel Hopfield dan Hoppensteadt 161 E, akan tercapai. Solusi permasalahan kemudian didekodekan dari konfigu- vas ini, Dalam kasus penguatan tinggi (high-gain) yaitu di mana hubungan sigmoid masukan-keluaran sanget curam, fungsi energinya adalah: Be -SEnMY- Shu. 6.2.5 Penerapan Jaringan Hopfield: Masalah Penjual Keliling (Traveling Salesman Problem — TSP) Hopfield (1985, 1986) menggunakan jaringan neural dan prinsip minimis- asi energi yang bethubungan dengan jaringan tersebut — sebagaimana diberikan sebelumnya — untuk menghasilkan suatu solusi bagi masalah penjual keliling ‘NP-lengkap’. Masalah tersebut adalah sebagai berikut: suatu himpunan yang terdiri dari n kota A, B, C, memiliki nilai yang menyatakan jarak pemisah antara dua kota dap, dac, ... dec, .... Twhuan pemecahan masalah adalah untuk mencari jalur/rute tertutup yang terpendek yang melalui tiap kota hanya satu kali dan akhimya kembali ke kota tempat rute tersebut dimulai. Masalah ini kemudian dipetakan pada jaringan neural sebagai berikut. Suatu vektor baris dengan panjang n digunakan untuk menunjukkan letak dari suatu kota tertentu selama perjalanan. Jadi,jtka kota x adalah kota ketiga dalam perjalanan tersebut, maka entry ketiga dalam vektor tersebut benilai 1 sedangkan yang lainnya bernilai 0. Dengan demikian, tiap kota memiliki satu vektor baris sendiri. Jika digabungkan, kita peroleh suatu ‘matriks berukuran n * n, sehingga masalah penjual kelling dengan n kota ini jika dipetakan ke jaringan neural akan memerlukan n® neuron. Perlu diper- hatikan bahwa sebarang matriks permutasi merepresentasikan suatu per- jalanan melalui kota-kota tersebut (satu-satunya persyaratan untuk suatu perjalanan, jika dipandang dari -entry matriks tersebut, adalah bahwa tiap baris dan tiap kolom harus berisi satu dan hanya satu entry 1 dan entry lainnya harus 0). Setiap matriks dari sojurnlah n! permutasi matriks berkorespondensi dengan suatu trayek perjalanan yang dapat dilakukan, di mana terdapat beberapa yang mempunyai jarak yang sama. Terdapat n!/2n jalur yang berbeda (distinct) untuk rute tertutup dari masalah penjual keliling ini Dalam peribahasan berikut, digunekan simbol dengan bentuk Vx, di mana162 Pengontar Jaringan Newral X adalah nama kota dan j adalah posisi kota tersebut dalam perjalanan yang difakukan. Pertimbangan berikut ini penting dalam menurunkan fungsi energi vang akan diminimisasi dalam perhitungan. Keadaan (state) yang merepresenta- sikan matriks permutasi harus stabil'Lebih jauh lagi, sejumlah n!/2n keada- an yang berkorespondensi dengan perjalanan terpendek harus merupakan keadaan yang ‘disukai’ (favored). Fungsi energi diminimisasi terhadap 2" titiktitik sudut dari hypercube berdimensi N yang didefinisikan oleh tiap Vi = O atau 1. Jika fungsi tersebut mempunyai bentuk sebagai berikut: A dyy VeVi + Viv). “M4 di mana A,B,C>0; maka, masing-masing suku dari keempat suku dalam ekspresi untuk E di atas mempunyai art fisis langsung: 1. Suku pertama bernilai 0 jika dan hanya jika tiap baris berisi tidal lebih dari satu entry 1 2. Suku kedua bemilai 0 jike dan hanya jika tiap kolom berisi tidak lebih dari satu entry 1 Pethatikan bahwa kedua kondis di atas mendefinisikan suatu matriks per- mutasi. 3. Suku ketiga bemilai 0 jika dan hanya jika terdapat n buah entry bemilai 1 dalam seluruh matriks. 4, Suku keempat diminimisasi jika jarak tempuh dalam perjalanan tersebut diminimisasi. Dengan menggabungkan hal-hal di atas, dapat dilihat bahwa jika A, B, dan C memiliki nilai cukup besar, keadaan berenergi rendah (low-energy states) dari suatu jaringan akan membentuk suatu perjalanan yang valid. Energi total dari suatu keadaan yang valid merupakan jarak tempuh dalamModel Hopfield dan Hoppensteadt 163 erjalanan tersebut, dan keadaan dengan jalur terpendek adalah keadaan dengan tingkat energi terendah. Konektivitas sinapsis sekarang dapat dinyatakan dalam pengertian fungsi energi, sebagai berikut: Tay = ABA 1-5) hhubungan penghambat dalam suatu baris = BBL) hubungan penghambat dalam suatu kolom -¢c penghambatan secara keseluruhan = -Ddyy6ji0143,2) suku data, di mana 8) bemilat 1 jika ij, selain itu bemnilat 0. Akhirnya, arus pembias masukan diberikan oleh hubungan: Ix; = Cn. Peru pula dipertimbangkan keuntungan yang diperoleh dengan beralih dari model neuron diskrit McCulloch-Pitts kepada fungsi masukan-keluaran sigmoid. Suatu pengamatan yang dilakukan terhadap keadaan dari n® neuron tersebut pada suatu waktu sebarang, tidak perlu menghasilkan suatu matriks permutasi. Sebagaimana dijelaskan oleh Hopfield (1985), domain sebenamya dati fungsi jaringan tersebut adalah seluruh hypercube (ter- ‘masulk interior dan bukan hanya titik sudut). Jika fungs! tersebut tidak berada pada salah satu tit sudut, terdapat paling tidak satu neuron yang nilai eluarannya buken 0 atau 1 melainkan suatu nilai di antaranya. Neuron dengan keadaan tak jelas ini menunjukkan kemungkinan dari suatu kota untuk berada pada suatu posisi tertentu dalam perjalanan yang dilaktukan. Karena itu, jika neuron (2,3) dan (2,6) memiliki keluaran di antara 0 dan 1, maka sistem tersebut secara simultan membuat anggapan untuk kemung- kinan kota ke-2 dikunjungi pada posisi ke-3 atau ke-6. Adanya pertim- bangan beberapa rute perjalanan secara simultan ini membuat sistem tersebut efisien. Proses pengambilan keputusan ini berisi suatu pergerakan yang mulus dari suatu titik awal dalam interior hypercube berdimensi n164 Pengantar Jaringan Neural tersebut ke suatu tik yang cukup dekat dengan suatu titik sudut dari hypercube tersebut, cukup dekat untuk diidentifikasikan ke fitk sudut tersebut. Pada sebarang titik interior (di mana konsep dari suatu perjalanan tidak terdefinis), paling tidak satu kota dapat berada dalarn lebih dari satu posisi dalam perjalanan tersebut dengan kemungkinan yang berbeda-beda. Pembahasan yang iebih lengkap mengenal penggunaan neuron respons- bertahap lawan neuron dwikeadaan diberikan dalam Sub-bab 6.2.4. Perlu disebutkan pula beberapa karya dari Platt (1987) dalam bidang optimisasi diferensial berkendala (constrained). Kriteria eksternal kadang- kadang membatasi ruang keluaran yang dapat diterima dalam masalah optimisasi. Karena itu, versi tanpa batasan kendala (unconstrained) dari masaléh penjual Kelling ini bertujuan agar jarak tempuh total diminimisasi Batasan yang terdapat dalam versi yang kita bahas adalah bahwa si penjual hanya sekali saja mengunjungi tiap kota. Secara umum, masalah optimisasi berkendala dapat dinyatakan sebagai berikut: minimisasi fx) dengan gtx) = 0 di mana x menyatakan keadaan dari jaringan neural. Evolusi dari keadaan jaringan selama optimisasi berkendala ini harus sedemikian sehingga keada- an tersebut ditarik ke sub-ruang (subspace) kendala, dan kemudian bergerak menyusurinya hingga sampai pada suatu nilai terendah lokal dari fungsi f. Pendekatan konvensional terhadap optimisasi berkendala meliputi me- tode hukuman (penalty) dan metode pengali Lagrange. Kedua metode ini mengubah suatu masalah berkendala menjadi masalah tanpa kendala. Dalam metode pertama, bentuk tanpa kendala adalah sebagai berikut minimize epoa(X) = (3) + ofg(2)) Jika ¢ menjadi sangat besar, metode ini akan menghasilkan konvergensi secara global ke minimum yang diinginkan dari fungsi f. Dalam metode pengali Lagrange, pethatikan hubungan: ean) = F(R) * AB) Di sini, suatu solusi dari fungsi mula-mula merupakan suatu ttik kritis dari Bagange Metode yang disarankan oleh Platt (1987) vaitu metode pengali diferen- sial dasar (Basie Differential Multiplier Method — BDMM) merupakan suatu alternafif bagi penurunan gradien diferensial yang mengestimasi pengaliModel Hopfield dan Hoppensicadt 165 Lagrange. Teknik penurunan gradien (gradient descent) jika diterapkan ppada Seyanse akan menghasilkan: Sayang sekali bahwa karena suatu titi krits dari Sayan tidak harus merupa- kan suatu penarik (attractor) bagi sistem ini, teknik penurunan gradien tidak dapat digunakan dengan pengali Lagrange. Meskipun demikian, suatu per- ubahan sederhana yang mengjinkan penaikan gradien pada Z menjamin bbahwa titik kritis dari Gsange Merupakan attractor dari persamaan diferen- sial berikut (yang juga menyelesaikan masalah optimisasi berkendala yang mula-mula): Persamaan ini merupakan penyusun dari BDMM. Untuk melihat bahwa sistem ini sebenamya mengalami osilasi teredam, persamaan diferensial tersebut digabungkan sehingga diperoleh: sano 3x, 88, +3 5x, 5x, Matriks redaman dalam sistem ini adalah: ‘Tanpa perlu melalui penjelasan secara lebih mendetail, dapat diperlihatkan bahwa BDMM senantiasa konvergen jika masalah optimisasi berkendala tersebut mempunyai suatu fungsi kuadrat f, dan fungsi kendala g merupakan,166 Pengantar Jaringan Neural suatu fungsi piecewise linear yang kontinu. Hal ini telah memunculkan nama quadratic programming. BDMM telah digunakan untuk menemukan solusi yang memuaskan untuk masalah penjual Kelling yang planar (dua dimensi. Elemen dari suatu kurva ‘ular’ yang telah didiskritkan adalah titik (X,Y) pada suatu bidang Tujuan yang akan dicapai adalah untuk: minimize S (x, dengan batasan Kfcxg) = O dan K(y"-y) Di sini (x',y') adalah koordinat kota dan (x...) adalah titik pada kurva ‘ular’ yang paling dekat dengan kota tersebut. Hal yang penting diperhatikan adalah bahwa ini merupakan suatu program kuadratis, dan dengan demikian BDMM dapat diterapkan dengan efehtif. Masalah penjual keliling merupakan suatu contoh yang baik untuk meng- gambarkan penggunaan teknik jaringan neural untuk memecahkan masalah optimisasi yang sult, Dalam hal tertentu dari masalah ini, perlu diingat bahwa terdapat heuristik yang sangat baik yang melampaui kinerja dari jaringan neural. Sebagai contoh adalah hal di mana kota dalam masalah ini mengikuti suatu ketidaksamaan segitiga, yaitu di mana jarak langsung antara dua kota sebarang lebih kecil dari jarak antara keduanya tetapi melalui suatu kota ketiga. Masalah ini dapat dipandang sebagai suatu graph di mana kota tersebut merupakan titik ujung (vertex) dan jalur penghubung tik tersebut diberikan nilaijarak antar kota. Terdapat algoritma polinomial waktu (poly- nomial time algorithm) untuk menemukan suatu spanning tree minimum dari graph tersebut (dalam istilah teori graph, suatu spanning tree dari suatu graph adalah suatu subgraph yang memiliki semua titik vertex dari graph asalnya serta jalur penghubung (edge) secukupnya sedemikian se- hhingga semua titik tersebut terhubung dan hanya ada satu jalur di antara sepasang titik sebarang). Heuristik yang dianjurkan untuk mengubah suatu spanning tree minimum menjadi suatu solusi yang memuaskan untuk masalah penjual keliing ini meliputi pengunjungan semua kota dengan merunut dua kali sekeling tree tersebut dan menggunakan beberapa jalan pintas yang dimungkinkan oleh ketidaksamaan segitiga tersebut untuk mem-Model Hopfield dan Hoppensieadt 167 pperoleh suatu trayek perjalanan yang tidak lebih panjang dari dua kali dari trayek yang diberikan oleh suatu solusi optimal untuk masalah ini. Heuristik ini telah diperbaiki dengan pémakaian teknik pencocokan (matching) oleh Christofides, dan dengan trayek Euler, sehingga menghasilkan suatu trayek yang tidak lebih panjang dari 1.5 kali yang diberikan oleh solusi optimal. Hasil karya Garey (1979) dapat digunakan untuk bahan penjelasan lebih lanjut untuk hal ini dan heuristik-heuristik lainnya, 6.2.6 Penerapan Jaringan Hopfield — Masalah Pengolahan Citra Koch (1986) mempelajari kemungkinan penerapan jaringan Hopfield untuk masalah dalam pengolahan citra. Penghitungan kedalaman dari citra stereo- skopik, rekonstruksi dan penghalusan citra dari data yang tidak lengkap, dan penghitungan pergerakan adalah masalah dalam pengolahan citra yang dapat diselesaikan dengan menggunakan teori regularisasi standard. Teknik ini menyelesaikan masalah tersebut dalam bentuk fungsi energi kuadratis yang harus diminimisasi. Suatu contoh masalah yang sesuai dengan metode ini adalah rekonstruks! permukaan yang halus (smooth surface reconstruc- tion). Umumnya nilat kedalaman dari suatu obyek hanya diberikan pada titik tertentu (secara altemnatif, dapat pula diketahui nilai kedalaman dalam jum- lah yang cukup, namun datanya senditi penuh dengan derau). Pada dasarnya, permukaan dari obyek harus diinterpolasi di antara titik yang tidak diperoieh datanya. Ini berhubungan dengan tugas untuk menemukan suatu permukaan yang ‘paling cocok’ antara titik tersebut. Energi atau fungsi biaya yang akan diminimisasi E{)) yang diturunkan dari masalah inves, Bied+n dimana d= data, n= derau (noise), dan B= operator linear diberikan oleh EQ) = 1 1Bf-di 1? + al IS#IL®,168 Pengantar Jaringan Neural B dan d diketahui, sedangkan f akan dihitung. Suku pertama dalam E menunjukkan jarak dari solusi ke data, dan suku kedua berkoresponden: dengan suatu peregularisasi yang diperluken untuk membuat masalah terseb teratur dengan baik. Untuk interpolasi permukaan, B adalah suatu matri diagonal yang elemennya sama dengan 1 pada lokasi di mana kedalam. diketahui, selain itu 0. Koch (1986) menunjukkan bahwa E dapat direde finisikan sebagai Uv) =F ETM + DV Redefinisi ini membutuhkan penggantian: T dengan 2(B"B + oS"), Vedengan f, 1, dengan -2B"d, dan pembuangan suku konstan dd. (simbol ini memiliki arti yang samal dengan artinya dalam solusi jaringan saraf untuk masalah penjual Kelling) Tiap neuron di-ground dengan suatu susunan paralelresistansi dan kapast tansi. Ekspresi untuk L dapat diartikan sebagai fungsi Lyapunov dari jaring| an tersebut. Perubahan potensial diberikan oleh: wat dt Wy, Prinsip variasional kuadratis yang dapat dinyatakan dalam bentuk seba} geimana EV) dinyatakan di atas dan dapat diselesaikan dengan suatu jaring: an elektronik yang sesuai, di mana hubungan dapat diimplementasikan| dengan resistansi ohmik linear dan data direpresentasikan dengan arus yang| diinjeksikan Teor regularisasi standard hanya dapat diterapkan pada fungsi energ yang konvels. Dengan demikian, cara yang dijelaskan di atas tidak dapat digunakan jika terdapat diskontinuitas (metode interpolasi permukaan yang| digunakan dalam rekonstruksi permukaan halus tidak dapat berfungs jikal terdapat ketidak-kontinuan). Koch (1986) memberikan suatu perluasan dariModel Hopfield dan Hoppensieadt 169 teknik Hopfield dalam bentuk proses-proses garis (line processes). Gagasan dari proses ini adalah sebagai beriktut. Untuk rekonstruksi permukean, sebagai contoh, dua field acak Markov yang bergandengan (coupled) digu- nakan untuk memodelkan permukaan. Salah satunya adalah suatu field bemilai kontinu yang berkorespondensi dengan kedalaman f; pada lokasi i. Yang lainnya adalah suatu field biner (proses gars) yang variabelnya(terletak pada tempat di antara kisi-kisi kedalaman/depth lattice). menunjukkan apakah terdapat suatu diskontinuitas di antara dua kisi-kist kedalaman atau tidak. Teori Bayes memperlihatkan bahwa perkiraan terbaik untuk permu- kaan tersebut berkorespondensi dengan minimisasi global dari suatu fungsi energi yang bentuk satu dimensinya diberikan oleh hubungan: ELM = Lifes — fh) + eo Lf dP + ev Dh, di mana h, adalah proses gars biner. Faktor hy ini memasukkan minimum lokal ke dalam fungsi energi dan ‘menyebablian fungsi tersebut tidak kuadratis. Mengikuti Hopfield (1984), Koch (1986) memetakan proses garis biner tersebut kepada variabel kon- tinu yang dibatasi antara 0 dan 1. Fungsi energi yang dihasilkan terminimis- asi pada titik sudut dari hypercube (meskipun fungsi energi tersebut mengandung suku-suku berderajat tiga). 6.2.7 Reduksi Fenomena Pergetaran dalam Jaringan Hopfield Di atas telah kita bahas implementasi elektronik suatu jaringan neural oleh Hopfield dan Tank. Cukup menarik pula untuk memperhatikan bagaimana para peneliti menangani hal-hal praktis yang muncul dalam implementasi model tersebut. Sebagai contch, masalah dunia nyata banyak berurusan dengan angka, sehingga harus ada cara untuk menyatakan angka-angka dalam suatu jaringan neural (hal ini akan dibahas dalam sub-bab berikut), Contoh lain diberikan oleh Takeda (1986) yang menunjukkan bahwa dalam model waktu-diskrit yang mereka pergunakan timbul perilaku per- sgetaran (oscillatory) jika T, tidak nol. Hal ini dapat menghalangi konver- ¢gensi ke arah minimum dalam ruang-keadaan. Mereka menggunakan em- pat modus transisi waktu-diskrit dalam upaya mengurangi osilasi ini (ihat Gambar 6.2)170. Pengantar Jaringan Neural idan Uimasing-masing aalah potensial masukan dan potensial keluaran. adalah arus pembias. Pola penis ‘upan sald eakar SI/ menentukan modus vansil yang digurakan dalam model Dian dari Takode, “Neural Networks for Computaton: Number Representations and Programming Complex} ‘ty Applee Optics, 25, No. 18, 3092-3046.) 1986 Amencan inttuta of Pryss. Dcotak ulang sejn penerb, Gambar 6.2 Suatu Model Jaringan Neural Modus Transisi Sinkron Langsung. Saklar SW, terhubung secara sif- kron sehingga menyebabkan transisi simultan pada waktu diskrit k. Suo| fungsi nonlinear kontinu g(x) memungkinkan neuron mempunyai nilai li antara 0 dan 1 Usk) = DT MIR) + Be Vike+1) = IU] Modus Transisi Sinkron Diferensial. Transisi terjadi secara sinkrop, tetapi dalam hal ini diatur oleh persamaan perbedaan (difference equation) Implikasi bagi perangkat keras untuk metode ini adalah perlunya suatu $21 ‘memor untuk tiap neuron, untuk menyimpan masukan sebelumnya.Model Hopfield dan Hoppensteadt 163 erjalanan tersebut, dan keadaan dengan jalur terpendek adalah keadaan dengan tingkat energi terendah. Konektivitas sinapsis sekarang dapat dinyatakan dalam pengertian fungsi energi, sebagai berikut: Tay = ABA 1-5) hhubungan penghambat dalam suatu baris = BBL) hubungan penghambat dalam suatu kolom -¢c penghambatan secara keseluruhan = -Ddyy6ji0143,2) suku data, di mana 8) bemilat 1 jika ij, selain itu bemnilat 0. Akhirnya, arus pembias masukan diberikan oleh hubungan: Ix; = Cn. Peru pula dipertimbangkan keuntungan yang diperoleh dengan beralih dari model neuron diskrit McCulloch-Pitts kepada fungsi masukan-keluaran sigmoid. Suatu pengamatan yang dilakukan terhadap keadaan dari n® neuron tersebut pada suatu waktu sebarang, tidak perlu menghasilkan suatu matriks permutasi. Sebagaimana dijelaskan oleh Hopfield (1985), domain sebenamya dati fungsi jaringan tersebut adalah seluruh hypercube (ter- ‘masulk interior dan bukan hanya titik sudut). Jika fungs! tersebut tidak berada pada salah satu tit sudut, terdapat paling tidak satu neuron yang nilai eluarannya buken 0 atau 1 melainkan suatu nilai di antaranya. Neuron dengan keadaan tak jelas ini menunjukkan kemungkinan dari suatu kota untuk berada pada suatu posisi tertentu dalam perjalanan yang dilaktukan. Karena itu, jika neuron (2,3) dan (2,6) memiliki keluaran di antara 0 dan 1, maka sistem tersebut secara simultan membuat anggapan untuk kemung- kinan kota ke-2 dikunjungi pada posisi ke-3 atau ke-6. Adanya pertim- bangan beberapa rute perjalanan secara simultan ini membuat sistem tersebut efisien. Proses pengambilan keputusan ini berisi suatu pergerakan yang mulus dari suatu titik awal dalam interior hypercube berdimensi n164 Pengantar Jaringan Neural tersebut ke suatu tik yang cukup dekat dengan suatu titik sudut dari hypercube tersebut, cukup dekat untuk diidentifikasikan ke fitk sudut tersebut. Pada sebarang titik interior (di mana konsep dari suatu perjalanan tidak terdefinis), paling tidak satu kota dapat berada dalarn lebih dari satu posisi dalam perjalanan tersebut dengan kemungkinan yang berbeda-beda. Pembahasan yang iebih lengkap mengenal penggunaan neuron respons- bertahap lawan neuron dwikeadaan diberikan dalam Sub-bab 6.2.4. Perlu disebutkan pula beberapa karya dari Platt (1987) dalam bidang optimisasi diferensial berkendala (constrained). Kriteria eksternal kadang- kadang membatasi ruang keluaran yang dapat diterima dalam masalah optimisasi. Karena itu, versi tanpa batasan kendala (unconstrained) dari masaléh penjual Kelling ini bertujuan agar jarak tempuh total diminimisasi Batasan yang terdapat dalam versi yang kita bahas adalah bahwa si penjual hanya sekali saja mengunjungi tiap kota. Secara umum, masalah optimisasi berkendala dapat dinyatakan sebagai berikut: minimisasi fx) dengan gtx) = 0 di mana x menyatakan keadaan dari jaringan neural. Evolusi dari keadaan jaringan selama optimisasi berkendala ini harus sedemikian sehingga keada- an tersebut ditarik ke sub-ruang (subspace) kendala, dan kemudian bergerak menyusurinya hingga sampai pada suatu nilai terendah lokal dari fungsi f. Pendekatan konvensional terhadap optimisasi berkendala meliputi me- tode hukuman (penalty) dan metode pengali Lagrange. Kedua metode ini mengubah suatu masalah berkendala menjadi masalah tanpa kendala. Dalam metode pertama, bentuk tanpa kendala adalah sebagai berikut minimize epoa(X) = (3) + ofg(2)) Jika ¢ menjadi sangat besar, metode ini akan menghasilkan konvergensi secara global ke minimum yang diinginkan dari fungsi f. Dalam metode pengali Lagrange, pethatikan hubungan: ean) = F(R) * AB) Di sini, suatu solusi dari fungsi mula-mula merupakan suatu ttik kritis dari Bagange Metode yang disarankan oleh Platt (1987) vaitu metode pengali diferen- sial dasar (Basie Differential Multiplier Method — BDMM) merupakan suatu alternafif bagi penurunan gradien diferensial yang mengestimasi pengaliModel Hopfield dan Hoppensicadt 165 Lagrange. Teknik penurunan gradien (gradient descent) jika diterapkan ppada Seyanse akan menghasilkan: Sayang sekali bahwa karena suatu titi krits dari Sayan tidak harus merupa- kan suatu penarik (attractor) bagi sistem ini, teknik penurunan gradien tidak dapat digunakan dengan pengali Lagrange. Meskipun demikian, suatu per- ubahan sederhana yang mengjinkan penaikan gradien pada Z menjamin bbahwa titik kritis dari Gsange Merupakan attractor dari persamaan diferen- sial berikut (yang juga menyelesaikan masalah optimisasi berkendala yang mula-mula): Persamaan ini merupakan penyusun dari BDMM. Untuk melihat bahwa sistem ini sebenamya mengalami osilasi teredam, persamaan diferensial tersebut digabungkan sehingga diperoleh: sano 3x, 88, +3 5x, 5x, Matriks redaman dalam sistem ini adalah: ‘Tanpa perlu melalui penjelasan secara lebih mendetail, dapat diperlihatkan bahwa BDMM senantiasa konvergen jika masalah optimisasi berkendala tersebut mempunyai suatu fungsi kuadrat f, dan fungsi kendala g merupakan,166 Pengantar Jaringan Neural suatu fungsi piecewise linear yang kontinu. Hal ini telah memunculkan nama quadratic programming. BDMM telah digunakan untuk menemukan solusi yang memuaskan untuk masalah penjual Kelling yang planar (dua dimensi. Elemen dari suatu kurva ‘ular’ yang telah didiskritkan adalah titik (X,Y) pada suatu bidang Tujuan yang akan dicapai adalah untuk: minimize S (x, dengan batasan Kfcxg) = O dan K(y"-y) Di sini (x',y') adalah koordinat kota dan (x...) adalah titik pada kurva ‘ular’ yang paling dekat dengan kota tersebut. Hal yang penting diperhatikan adalah bahwa ini merupakan suatu program kuadratis, dan dengan demikian BDMM dapat diterapkan dengan efehtif. Masalah penjual keliling merupakan suatu contoh yang baik untuk meng- gambarkan penggunaan teknik jaringan neural untuk memecahkan masalah optimisasi yang sult, Dalam hal tertentu dari masalah ini, perlu diingat bahwa terdapat heuristik yang sangat baik yang melampaui kinerja dari jaringan neural. Sebagai contoh adalah hal di mana kota dalam masalah ini mengikuti suatu ketidaksamaan segitiga, yaitu di mana jarak langsung antara dua kota sebarang lebih kecil dari jarak antara keduanya tetapi melalui suatu kota ketiga. Masalah ini dapat dipandang sebagai suatu graph di mana kota tersebut merupakan titik ujung (vertex) dan jalur penghubung tik tersebut diberikan nilaijarak antar kota. Terdapat algoritma polinomial waktu (poly- nomial time algorithm) untuk menemukan suatu spanning tree minimum dari graph tersebut (dalam istilah teori graph, suatu spanning tree dari suatu graph adalah suatu subgraph yang memiliki semua titik vertex dari graph asalnya serta jalur penghubung (edge) secukupnya sedemikian se- hhingga semua titik tersebut terhubung dan hanya ada satu jalur di antara sepasang titik sebarang). Heuristik yang dianjurkan untuk mengubah suatu spanning tree minimum menjadi suatu solusi yang memuaskan untuk masalah penjual keliing ini meliputi pengunjungan semua kota dengan merunut dua kali sekeling tree tersebut dan menggunakan beberapa jalan pintas yang dimungkinkan oleh ketidaksamaan segitiga tersebut untuk mem-Model Hopfield dan Hoppensieadt 167 pperoleh suatu trayek perjalanan yang tidak lebih panjang dari dua kali dari trayek yang diberikan oleh suatu solusi optimal untuk masalah ini. Heuristik ini telah diperbaiki dengan pémakaian teknik pencocokan (matching) oleh Christofides, dan dengan trayek Euler, sehingga menghasilkan suatu trayek yang tidak lebih panjang dari 1.5 kali yang diberikan oleh solusi optimal. Hasil karya Garey (1979) dapat digunakan untuk bahan penjelasan lebih lanjut untuk hal ini dan heuristik-heuristik lainnya, 6.2.6 Penerapan Jaringan Hopfield — Masalah Pengolahan Citra Koch (1986) mempelajari kemungkinan penerapan jaringan Hopfield untuk masalah dalam pengolahan citra. Penghitungan kedalaman dari citra stereo- skopik, rekonstruksi dan penghalusan citra dari data yang tidak lengkap, dan penghitungan pergerakan adalah masalah dalam pengolahan citra yang dapat diselesaikan dengan menggunakan teori regularisasi standard. Teknik ini menyelesaikan masalah tersebut dalam bentuk fungsi energi kuadratis yang harus diminimisasi. Suatu contoh masalah yang sesuai dengan metode ini adalah rekonstruks! permukaan yang halus (smooth surface reconstruc- tion). Umumnya nilat kedalaman dari suatu obyek hanya diberikan pada titik tertentu (secara altemnatif, dapat pula diketahui nilai kedalaman dalam jum- lah yang cukup, namun datanya senditi penuh dengan derau). Pada dasarnya, permukaan dari obyek harus diinterpolasi di antara titik yang tidak diperoieh datanya. Ini berhubungan dengan tugas untuk menemukan suatu permukaan yang ‘paling cocok’ antara titik tersebut. Energi atau fungsi biaya yang akan diminimisasi E{)) yang diturunkan dari masalah inves, Bied+n dimana d= data, n= derau (noise), dan B= operator linear diberikan oleh EQ) = 1 1Bf-di 1? + al IS#IL®,168 Pengantar Jaringan Neural B dan d diketahui, sedangkan f akan dihitung. Suku pertama dalam E menunjukkan jarak dari solusi ke data, dan suku kedua berkoresponden: dengan suatu peregularisasi yang diperluken untuk membuat masalah terseb teratur dengan baik. Untuk interpolasi permukaan, B adalah suatu matri diagonal yang elemennya sama dengan 1 pada lokasi di mana kedalam. diketahui, selain itu 0. Koch (1986) menunjukkan bahwa E dapat direde finisikan sebagai Uv) =F ETM + DV Redefinisi ini membutuhkan penggantian: T dengan 2(B"B + oS"), Vedengan f, 1, dengan -2B"d, dan pembuangan suku konstan dd. (simbol ini memiliki arti yang samal dengan artinya dalam solusi jaringan saraf untuk masalah penjual Kelling) Tiap neuron di-ground dengan suatu susunan paralelresistansi dan kapast tansi. Ekspresi untuk L dapat diartikan sebagai fungsi Lyapunov dari jaring| an tersebut. Perubahan potensial diberikan oleh: wat dt Wy, Prinsip variasional kuadratis yang dapat dinyatakan dalam bentuk seba} geimana EV) dinyatakan di atas dan dapat diselesaikan dengan suatu jaring: an elektronik yang sesuai, di mana hubungan dapat diimplementasikan| dengan resistansi ohmik linear dan data direpresentasikan dengan arus yang| diinjeksikan Teor regularisasi standard hanya dapat diterapkan pada fungsi energ yang konvels. Dengan demikian, cara yang dijelaskan di atas tidak dapat digunakan jika terdapat diskontinuitas (metode interpolasi permukaan yang| digunakan dalam rekonstruksi permukaan halus tidak dapat berfungs jikal terdapat ketidak-kontinuan). Koch (1986) memberikan suatu perluasan dariModel Hopfield dan Hoppensieadt 169 teknik Hopfield dalam bentuk proses-proses garis (line processes). Gagasan dari proses ini adalah sebagai beriktut. Untuk rekonstruksi permukean, sebagai contoh, dua field acak Markov yang bergandengan (coupled) digu- nakan untuk memodelkan permukaan. Salah satunya adalah suatu field bemilai kontinu yang berkorespondensi dengan kedalaman f; pada lokasi i. Yang lainnya adalah suatu field biner (proses gars) yang variabelnya(terletak pada tempat di antara kisi-kisi kedalaman/depth lattice). menunjukkan apakah terdapat suatu diskontinuitas di antara dua kisi-kist kedalaman atau tidak. Teori Bayes memperlihatkan bahwa perkiraan terbaik untuk permu- kaan tersebut berkorespondensi dengan minimisasi global dari suatu fungsi energi yang bentuk satu dimensinya diberikan oleh hubungan: ELM = Lifes — fh) + eo Lf dP + ev Dh, di mana h, adalah proses gars biner. Faktor hy ini memasukkan minimum lokal ke dalam fungsi energi dan ‘menyebablian fungsi tersebut tidak kuadratis. Mengikuti Hopfield (1984), Koch (1986) memetakan proses garis biner tersebut kepada variabel kon- tinu yang dibatasi antara 0 dan 1. Fungsi energi yang dihasilkan terminimis- asi pada titik sudut dari hypercube (meskipun fungsi energi tersebut mengandung suku-suku berderajat tiga). 6.2.7 Reduksi Fenomena Pergetaran dalam Jaringan Hopfield Di atas telah kita bahas implementasi elektronik suatu jaringan neural oleh Hopfield dan Tank. Cukup menarik pula untuk memperhatikan bagaimana para peneliti menangani hal-hal praktis yang muncul dalam implementasi model tersebut. Sebagai contch, masalah dunia nyata banyak berurusan dengan angka, sehingga harus ada cara untuk menyatakan angka-angka dalam suatu jaringan neural (hal ini akan dibahas dalam sub-bab berikut), Contoh lain diberikan oleh Takeda (1986) yang menunjukkan bahwa dalam model waktu-diskrit yang mereka pergunakan timbul perilaku per- sgetaran (oscillatory) jika T, tidak nol. Hal ini dapat menghalangi konver- ¢gensi ke arah minimum dalam ruang-keadaan. Mereka menggunakan em- pat modus transisi waktu-diskrit dalam upaya mengurangi osilasi ini (ihat Gambar 6.2)170. Pengantar Jaringan Neural idan Uimasing-masing aalah potensial masukan dan potensial keluaran. adalah arus pembias. Pola penis ‘upan sald eakar SI/ menentukan modus vansil yang digurakan dalam model Dian dari Takode, “Neural Networks for Computaton: Number Representations and Programming Complex} ‘ty Applee Optics, 25, No. 18, 3092-3046.) 1986 Amencan inttuta of Pryss. Dcotak ulang sejn penerb, Gambar 6.2 Suatu Model Jaringan Neural Modus Transisi Sinkron Langsung. Saklar SW, terhubung secara sif- kron sehingga menyebabkan transisi simultan pada waktu diskrit k. Suo| fungsi nonlinear kontinu g(x) memungkinkan neuron mempunyai nilai li antara 0 dan 1 Usk) = DT MIR) + Be Vike+1) = IU] Modus Transisi Sinkron Diferensial. Transisi terjadi secara sinkrop, tetapi dalam hal ini diatur oleh persamaan perbedaan (difference equation) Implikasi bagi perangkat keras untuk metode ini adalah perlunya suatu $21 ‘memor untuk tiap neuron, untuk menyimpan masukan sebelumnya.Model Hopfield dan tloppensteads 71 Usk) ~ Udk = 1) = DTVVA) + 1, V(k+1) = glUAk)). Modus Transisi Asinkron Langsung (Penundaan Acak). Satu-satunya perbedaan antara modus ini dengan modus transisi sinkron langsung adalah bahwa dalam modus ini saklar terhubung dan terputus (on dan off) secara asinkron (yaitu dengan penundaan acek). Teak = Mt) +h, Vik = At + 2) = afte = Any] di mana At, = penyimpangan yang ditimbulkan oleh waktu tunda (kurang dari satu siklus clock), dan konstanta positif yang kecil suatu neuron tertentu tidak perlu menunggu neuron lainnya diperba- harui sebelum melakukan pembaharuan terhadap dirinya sendiri, Suatu neuron juga dapat memanfaatkan informasi mengenai keadaan yang ban: dari neuron lain yang telah memperbaharui keadaan masing-masing, Modus Transisi Asinkron Diferensial (Penundaan Acak). Ini adalah versi asinkron dari modus transisi sinkron diferensial Uk = At) — Uk = At = 1) = ET Ylk = sty + U{k ~ At, + €) = g(UAk ~ At) ~ Usk - At - 0). Dalam kasus di mana T; tidak nol, metode-metode sinkron tidak mem- berikan solusi untuk masalah osilasi. Karena itu, suatu pillhan yang sesuai harus bergantung pada aplikasinya dan harus disusun (secara ideal) dari modus transisi asinkron langsung maupun diferensia.172 Pengartar Javingan Neural 6.2.8 Representasi Bilangan dalam Ruang Neural (Neural Space) Takeda (1986) mengusulkan tiga cara yang berbeda untuk meme ruang integer positif Z’ pada ruang keadaan (state space) neuron V. Dal ketiga cara tersebut, kombinasi linear dari variabel keadaan neuron digh- nakan untuk merepresentasikan bilangan. Perlu diperhatikan bahwa energi Hopfield adalah kuadratis terhadap variabel keadaan neuron. Pe- metaan nonlinear dari ruang-bilangan kepada ruang keadaan neuron ti dapat membentuk fungsi energi Hopfield Karena ekspresi ttik-ambaqg (floating point) mempunyai variabel keadaan neuron sebagai ekspongn {pangkat). Cara Biner. Cara biner menggunakan angka biner untuk merepresent kan suatu bilangan. Metode ini memerlukan loga(N+1) bit untuk nyatakan suatu bilangan NV. Terdapat suatu korespondensi satu-satu ant bilangan tersebut dengan representasinya. Karena dalam menentukan langan yang tepat terdapat titik kritis bukan hanya pada suatu neuronal tertentu tetapi juga posisi neuronal (yaitu angka satuan, ang] puluhan, dan seterusnya), maka representasi ini sangat mudah mengala kegagalan Cara Jumlah Sederhana. Dalam cara ini, suatu bilangan N direpresente- sikan oleh jumlah dari variabel keadaan neuron. Dengan demikian, nilail 3 dapat direpresentasikan dengan 11001, 00111, 10101, dan seterusns Jelas bahwa ini adalah suatu pemetaan saturke-banyak. Selain itu, di lukan IN neuron untuk merepresentasikan suatu bilangan N. Karena pat banyak pemetaan terhadap tiap bilangan, sistem tersebut san, fault-tolerant. Sistem ini juga mempunyai kemampuan pemecahan mi lah yang lebih besar. Berlawanan dengan cara biner di mana hanya satu tf dalam ruang-keadaan yang memberikan solusi yang tepat, di sini beber titik memberikan jawaban yang benar. Ini menunjukkan adanya ke kinan yang lebih besar untuk mendapat jawaban. Cara Pengelompokan-dan-Pembobotan (Group-and-Weight). Unt memanfaatkan kelebihan dari cara jumlah sederhana dan untuk menghip- dari masalah dibutuhkannya terlalu banyak neuron untuk bilangan besdr, dibuat suatu kompromi antara kedua cara di ates, yaitu cara peng pokan-dan-pembobotan. Jumlah bit total q dibagi menjadi K kelomyModel Hopfeld dan Hoppensieade 173 masing-masing memiliki M bit (jadi, q = KM). Kelompok tersebut diartikan sebagai angka yang nilainya diperoleh dari penjumlahan sederhana dari bit-bit dalam kelompok tersebuf. Dengan demikian, suatu ekspresi untuk nilai dari q bit tersebut diberikan oleh: +S Vann M = 1, K = q mereduksi ekspresi tersebut ke dalam bentuk biner: Dy. M = q, K = 1 meredulsi eksprest tersebut ke dalam bentuk penjumlahan sederhana: Cara pengelompokan-dan-peribobotan ini memerlukan sejumlah logy.1(N+1) bit untuk menyatakan suatu nilai NV. Cara pengelompokan-dan-pembobotan dapat pula digunakan untuk me- representasikan bilangan bulat bipolar dan kompleks. Angka bipolar di- peroleh dengan menambahkan suatu bilangan bulat negatif pembias pada ekspresi bilangan bulat positif. Dengan demikian’ Sor +9 Stace] = coiling) Loar «nt = ay ii mana suku kedua adalah setengah dari bilangan bulat posttf terbesar yang dapat dinyatakan oleh suku pertama dan fungsi ceiling (x) memberikan bilangan bulat terkecil yang = x. Perlu diperhatikan bahwa daerah nilai di mana angka dapat diekspresi- kan, sekarang diberikan oleh:174 Pengantar Jaringan Neural +2 M+ 1)-1) Untuk mengekspresikan bilangan bulat kompleks, diperiukan jumiph] neuron dua kali lebih banyak untuk menyatakan bagian real dan bagipn imajiner secara terpisah. Akhimya, kita dapat merepresentasikan pecahan dengan menggunakpn lebih banyak neuron dan memberikan label berupa subscript negatif (i <|0) pada neuron tersebut sehingga representa bilangan sekarang menjadi: 3 [oreo Bienes Sekarang, kita dapat mengekspresikan bilangan di antara 0 dan (M+1}f - (M-1)" dengan kuantisasi angka minimum (M+1)"*7) 6.2.9 Kompleksitas Penghitungan dan Pemrograman Terdapat suatu perbedaan penting yang harus dibuat antara kompleksifas penghitungan dan pemrograman. Beberapa pendapat optimis muncul bpr- kkenaan dengan fakta bahwa waktu konvergenst dari suatu jaringan mb sangat kecil, umumnya dalam skala beberapa iterasi saja. Pengetahuan vé ‘ada mengenai hubungan antara wakitu konvergensi, ukuran masalah (tercer+ min dalam jumlah neuron yang digunekan dalam jaringan), dan algorit#na yang digunakan (pola interkoneksi yang digunakan) pada saat ini mabib] bbelum memadai. Konsep memori asosiatif dan representas' informasi terdis tribusi berperan penting dalam argumen bahwa waktu perhitungan tidald tumbuh pesat seiring dengan bertambahnya ukuran masalah karena lebih] banyak neuron (dengan demikian suatu tingkat paralelisme vang lebih tinggi yang berpartisipasi dalom mencapai solusi terhadap masalah yang lebih] bbesar. Meskipun demikian, ini tidak mempertimbangkan waktu pemrografn| an (yaitu waktu yang dibutuhkan untuk benar-benar mengimplement algoritma tersebut dalam perangkat keras). Hal ini dibahas secara lebi terperinci dalam Takeda (1986) Kompleksitas pemrograman didefinisikan sebagai jumlah operasi metik yang harus dilakukan untuk menentukan bobot hubungan yang neModel Hopfield dan Hoppensteadt 17S serta faktor bias neural bagi masalah yang akan diselesaikan. Berbeda dengan mesin von Neumann klasik (dengan struktur memori dan prosesor yang terpisah) di mana suatu program jika telah diimplementasikan dan disimpan dalam memori dapat digunakan untuk mengolah beberapa kelom- ok data, dalam komputer jatingan neural program dan data disimpan tanpa pembedaan dalam bobot interkoneksi serta faktor bias masukan neuron. Ini harus diubah untuk tiap kasus dari masalah. Jelas bahwa kompleksitas pemrograman adalah lebih penting bagi komputasi neural. Pada sisi lain, kompleksitas penghitungan (secara kasar yaitu jumlah langkah yang diper- lukan oleh suatu algoritma untuk remperoleh jawaban) merupakan tolok ukur yang lebih sesuai untuk mesin von Neumann. Pembahasan kompleksi- tas pemrograman dan penghitungan relatif terhadap kedua contoh berikut ini dimaksudkan untuk menegaskan peringatan Takeda (1986) bahwa ma- salah yang berbeda mungkin atau mungkin tidak memerlukan jaringan neural untuk resolusi efisiennya Sebagai contoh pertama digunakan masalah penjual keliling. Takeda (1986) menyatakan bahwa kompleksitas penghitungan untuk masalah ini adalah O(N!) di mana N adalah jumlah kota. Solusi dari Hopfield dan Tank hanya memerlukan N’ neuron untuk diprogram dalam waktu O(N?) Di sini, Kompleksitas penghitungan yang jauh lebih besar menyebabkan perlunya suatu pengimplementasian jaringan neural. Di sini perlu kita tambahkan catatan kualifikast kita. Pertama-tama, implementasi jaringan neural tersebut tidak menjamin perolehan solusi terbaik. Suatu solusi sebagai pendekatan dapat diperoleh dalam waktu yang jauh lebih kecil dari waktu O(N!) dengan menggunakan berbagai heuristik yang baik (tanpa jaringan neural). Karena itu, persyaratan yang tepat dari masalahnya perlu dipertimbangkan dalam memutuskan apakah implementasi suatu jaring- an neural diperlukan atau tidak Contoh lain adalah solusi dari NV persamaan simultan dalam N variabel. Dalam suatu implementasi jaringan neural di mana sebanyak q neuron digu- nakan untuk merepresentasikan tiap variabel, terdapat sebanvak qN neuron, total dengan gNiqN+1)/2 = XN’) hubungan. Karena diperlukan waktu O(N) untuk menentukan bobot dari tiap hubungan, maka kompleksitas pemrogramannya adalah O(N’). Tetapi algoritma itu sendiri merupakan suatu algoritma O(N‘) (yaitu kompleksitas penghitungan). Dengan demikian tampaknya tidak ada gunanya menggunakan suatu komputer jaringan neu- ral untuk menggantikan yang konvensional176 Penganiar Jaringan Newral 6.2.10 Implementasi Optik dari Jaringan Neural Karena sinyal optik dapat merambat melalui ruang berdimensi tiga, si tersebut berada pada posisi yang lebih batk (daripada teknik VLSI di semua jalur kawat harus dilewatkan pada suatu permukaan datar) unt menirukan hubungan yang padat yang membentuk otak manusia, Gaga inj telah membuahkan banyak literatur yang membahas misalnya tent aplikasi optis dar jaringan Hopfield. Beberapa akan dibahas berikut ini. Farhat (1985) dan Psaltis (1985) telah membentuk suatu implement optis dari jaringan Hopfiels ihat Gambar 6.3). Mereka menunjukkan bahy tindakan pengasosiasian dari memori asosiatif pada dasarnya ment suatu: pencarian-tetangga-terdekat (nearest-neighbour search). Kompor optik digunakan untuk merepresentasikan neuron biner (perhatikan baby komponen ini bemilai on atau off; tidak terdapat suatu nilai-tengah]. T i belakang implementasi mereka sangat mirip dengan teori memori tif standard, tetapi akan diuraikan lagi di bawah ini untuk kejelasannya, P. dipethatikan bahwa penyusunan suatu memori optis dengan pengalamat 'si (contentaddressable) dapat sangat disedethanakan dengan mei nakan peranti dwi-stabilitas optik, penguat cahaya dui-stabil dengan pan-balik intemal, serta teknologi lain yang memungkinkan. Ini dapat me buka jalan bagi metode-metode penghitungan yang lebih uum dari carian-tetangga-terdekat dalam generasi komputer masa depan. Sebanyak M buah vektor Viqjberdimens N, dwi-kutub (bipolar) dan bi (1, -1) yang disebut sebagai vektor keadaan nominal, dsimpan sebagai Te Se apa oT Jka memori diakses dengan mengalikan matriks Ty dengan salah satu vektor keadaan tersebut, risalkan Vino, kita memperoleh prakiraan: ae = 3 Tyysoe = (N= +E cami, allMode! Hopfield dan Hloppensteait 177 eee eee eee eeeeeeeeeeeeeeaee ere “Threshokain, feedback. and gan Protosioae aay Light emung dtooe ary T, memory mask LED Mask Photodiode Thresholsing. toschack. and gain iam dar Ferhat. “Optica! implementation ofthe Hoptieks Mod,” Appiad Opes, Vol 24, No. 10. Moi 1695. Dicotak viang sein ponerbi Gambar 6.3 Pengali matriks-vektor dengan menggunakan elemen umpan- balik elektronik non-linear. di mana nme = Sym178 Pengantar Jaringan Neural Di sini, faktor kedua dari suku keluaran merepresentasikan cross-talk yf tidak diinginkan, dan jika dirata-ratakan akanmemiliki nilai((M-1(N-1))?* fu >o yang berada pada jarak Hamming terpendek dari vektor masukan, Peng panan balik keluaran sebagai suatu masukan yang baru menghasilkan| luaran yang bara yang secara umum merepresentasikan vektor tersimpan secara lebih akurat Sifat yang menonjol dari suatu implementasi optik diberikan berikuf in}. Suatu deretan dioda pemancar cahaya (light emitting diode — LEB) qi mana tiap elemen dari deretan ini dapat merepresentasikan komponen afi suatu vektor biner kutub tunggal/unipolar, merepresentasikan elemen neuf Flubungan global diimplementasikan melalui penambahan faktor amy (thresholding), penguatan, dan umpan-balik pada suatu pengali vektor triks optils konvensional. Deretan LED tersebut merepresentasikan masukan, sedangkan suatt deretan fotodioda (ohotediode — PD) mend vektor keluaran. Keluaran ini kemudian dithreshold dan diumpan ball secara paralel untuk mengektifkan elemen yang berhubungan dalam d an LED. Meskipun implementasi di afas menggunakan umpar-balik eletrg- nik, Farhat (1985) menunjukkan bahwa adalah lebih baik untuk mengahng- kan umpan-balik optik dengan menggabungkan deretan PD dan LED jadi satu hybrid kompak yang tunggal (yang juga berisi rangkaian te grasi/IC untuk operasi umpan-balik nonlinear dan untuk mengektifk elemen LED). Deretan penguat cahaya optik berumpan-balik interna} t4k linear atau peranti-peranti dwi-stabilitas optik (optical bistability deviq OBD) dapat menggantikan deretan kombinasi PD/LED. ‘Struktur berpengalamatan-isi (content-addressable) yang dihasilkan menjadi sq kompakModel Hopfield dan Hoppensteadt 179 EEL eee EaEEE EEE EEE PERE Menarik untuk diperhatikan bahwa terdapat suatu resurgensi dari pengem- bangan implementasi-implementasi optik menggunakan memori asosiatif Untuk itu dapat dibandingkan arsitektur dari suatu komputer optik dengan arsitektur komputer konvensional dalam Gambar 6.4 dan 6.5. Menurut Mada (1985), perubahan tersebut menunjukkan pergeseran dari pola pandang { hadap komputer sebagai suatu model dari kemampuan perhitungan dati otak (komputer konvensional) ke msuatu model dari kemampuan otak untuk mengolah informasi pada tingkat yang lebih tinggi (komputer opti). 6.3 Model Hoppensteadt 6.3.1 Pengantar Hoppensteadt (1986) mengadopsi paham bahwa neuron merupakan pe- waktu (timer) mendasar dalam tubuh kita yang juga berperan utama dalam eae ae Manatee — (oa tg Dial dar Mada, “Architecture for Optica! Computing Using Holographic Associative Memories,” Appiad Op tes, Vol. 24, No. 14, Jul 1985. Ocelakulang sejin dan the Amencan Institute of Physics. Gambar 6.4 Diagram blok dari prinsip dasar komputer konvensional.180 Pengantar Jaringan Newal -soshyg 10 ensuy ueovouy oy ufos Buen E1200 '9864.Anr ‘rz 104 ‘sondO Pauddy 'savowey1 exseoessy ojUdeZbOIOH BuIsp BunceD IRONdO 10 2uniDeHUDLY, BEM WED HED vontsioroon vondesi6q ye:60;y vowoy | Ienqurstpioy uowsyy —_ anes uep sseuzzn)| "samqecoud destoy,Mode! Hopfield dan Hoppensieadt 181 eee ‘menyimpan dan mengolah informasi dalam otak. Pendekatan dari karya ini adalah untuk memberikan tekanan pada informasi frekuensi (fasa) dati pewaktu tersebut dengan membentuk suatu model untuk fasa penembakan (firing) neuron. Model elektris ini disebut suatu neuron osilator terkontrol tegangan (voltage-controlled oscillator neuron — VCON) dan memiliki perbedaan dengan model neuron konvensional terdahulu dalam hal bahwa model ini dirancang khusus untuk memudahkan penelitian sifat respon frekuensi neuron. Beberapa dari model awal meliputi model Hodgkin-Hux- ley, model FitzHugh-Nagumo, serta suatu model penyatuan-dan-penem- bakan (integrate-and-fire) sederhana. Semua model awal ini menggunakan ‘metode pemnbentukan suatu muatan hingga mencapai suatt titik tertentu dan kemudian melepaskannya dalam suatu rangkaian. Sebaliknya, jaringan VCON yang dimodelkan oleh suatu Joop umpan-balik osilator terkendali tegangan merepresentasikan satu neuron dan suatu filter yang dipasang seri dengan suatu penguat pemotong (élipping amplifier) merepresentasi- kan suatu sinapsis kimiawi, Ini akan dibahas lebih lanjut. Seperti halnya Hopfield yang menurunkan permukaan energi untuk jaringannya yang terdiri dari neuron berkarakteristik on — off, Hoppen- steadt menunjukkan bahwa ‘adalah mungkin untuk mengasosiasikan suatu fungsi energi dengan penguncian-fasa (phase-locking) dari suatu jaringan yang terdiri dari osilator elektris (yaitu VCON). Dengan demikian, seperti dalam jaringan Hopfield, memori jangka pendek dapat direpresentastkan oleh pola penembakan stabil. Jaringan Hopfield menggunakan suatu struk- tur pencuplikan asinkron serta memakai suatu tolok ukur energi yang cocok, namun terdapat kelemahan yang dapat dielakkan oleh jaringan VCON hingga tingkat tertentu. Sebagai contoh, jaringan Hopfield tidak memilki struktur spatial di dalamnya. Dengan begitu tidak ada batasan a priori dikenakan pada matrks antarhubungannya. Juga, karena pencuplikan neuron dilakukan secara statistik, maka neuron harus menunggu tidak hanya untuk suatu stimulus di afas nilai ambang, tetapi juga untuk dicuplik. Model Hop- field juga memiliki kelemahan di mana model tersebut tidak dapat dianalisis secara matematis dengan mudah, schingga harus digunakan simulasi komputer. 6.3.2 Sedikit tentang Fisiologi Neuron Jika suatu membran semi-permeabel memisahkan daerah yang memiliki Konsentrasi berbeda dari spesies senyawa kimia bermuatan listrik, suatu182. Pengantar Jaringan Newat beda potensial terbentuk melintasi membran tersebut. Persamaan Nerngt digunakan untuk menghitung beda potensial ini: (i): di mana k adalah suatu konstanta gas, T adalah subu absolut, q adalah muatan ionik, dan Cy dan C2 adalah konsentrasi ionik pada kedua sisi membran. Dendrit menerima sinyal dan mengantarkannya ke badan sel yang ke dian menghasilkan suatu pulsa tegangan yang disebut sebagai suatu pot sial aksi. Pulsa ini kemudian dihantarkan oleh akson ke sinapsis (I Gambar 6.6). Sinapsis kemudian melepasian senyawa neurotransmit yang kernudian berdifusi melalui celah sinapsis menuju ke dendrit d beberapa neuron lainnya, dan kemudian menimbulkan suatu pot elektris metintasi membran dendrit. Potensial ini jika berada di atas ni ambang dari neuron tersebut akan menyebabkan badan sel melakul penembakan (firing), yaitu menghasilkan suatu potensial aksi. lon Natri (Na*) dan Kalium (K*) merupakan yang terpentig dalam pembentul potensial membran sel. Membran neuron’ pada kondisi istirahat (re bersifat tidak permeabel tezhadap Natrium, sehingga potensial yang ter besamya mendekati Ex. Jika mendapat stimulus, membran tersebut menjadi permeabel terhadap Natrium, dan potensial saluran mendekati ro] dengan cepat. Kalium berdifusi tidak terlau cepat, tetapt pada akhimya fen} ‘mengembaltkan potensial membran mendekati Ex kembali Misalkan c(t) menyatakan Konsentrasi neurotransmitter dalam celah|st- napsis. Ini meningkat ika potensial aks! yang tiba pada sinapsis merangs pelepasan senyawa neurotransmitter ke dalam celah tersebut. Sebagian TA neurotransmitter ini kemudian berikatan dengan membran postsinapsis, be dangkan sebagian lagi berdifusi keluar dari celah sinapsis. Kinetika kimiafini dimodelkan sebagai berikut: SeRest ee Es Ho kyo Ryne +S atModel Hopfield dan Hoppensteadt 183 eee PEEPS Akson a Sinapsis Badan sel Denarit Dieetek ulang sejin Cambridge University Press, Gambar 6.6 Diagram fisiofogi neuron, di mana ‘kan adalah konstanta laju difusi keluar celah sinapsis, po adalah konstanta laju terbentuknya ikatan dengan membran postsinap- sis, dan S adalah sumber yang melepaskan senyawa neurotransmitter ke dalam celah sinapsis. 6.3.3 VCON: Suatu Osilator Terkendali Tegangan sebagai Model dari suatu Neuron Hoppensteadt telah memodelkan badan sel sebagai suatu osilator terkendali tegangan/VCO (Gambar 6.7). Persamaan yang mengatur loop umpan- balik adalah: ds Se een + wn at di mana x, adalah fasa, 0 adalah tegangan akuisisi, dan 0» adalah frekuensi pusat dari VCO.184 Pengantar Jaringan Neural Dicetakulang sein Cambrtige University Press Gambar 6.7 VCO dimodetkan sebagai analogi dari suatu neuron. V diartikan sebagai potensial membran badan sel, dan dapat berupa sebp- rang fungs! kontinu yang dliferensiabel dan periodik dengan periode $x dalam x Sinapsis dimodelkan oleh suatu rangkaian analog, SYN, seperti ditunj kan pada Gambar 6.8 dan dijabarkan di bawah ini. Potensial aksi, se dijelaskan di atas, bervariasi antara Ex (sekitar -70 mV) hingga Ex. (seki 55 mV). Untuk menerapkan fakta bahwa terdapat suatu tegangan amb: «di mana di bawah tegangan ini neuron tidak akan melakukan penembalk peranti pertama dalam rangkaian analog SYN adalah suatu dioda. Hopy steadt mengasumsikan bahwa interaksi antara senyawa neurotransmi {yang dilepaskan ke dalam celah sinapsis) dengan membran postsinappis| dimodelkan dengan menambahkan efek yang ditimbulkan oleh neurotraps mitter tersebut kepada potensial postsinapsis yang ada serta menyesuailan| rnilainya agar cocok dengan batas fisiologis membran tersebut. Ini dilakul dengan menggunakan suatu penguat pembanding (comparison amplifiqy) VCON merupakan kombinasi dari SYN dan VCO, sebagaimana dipeft hatkan pada Gambar 6.9. Teas n Fasa (Phase Locking) Suatu analogi dapat dibuat antara jam (clock) biologis dan mekanis. Y< terakhir ini terutama tersusun dari: (1) suatu escapement, yaitu suatu 6.3.4 Clock dan Penguns‘Mode! Hopfeld don Heppensiead 185 oda untae ——_-Fitarlow pase Penguat pembanding ‘mensimulasikan analog da ‘aktorambang” nama Dicetak lang sein Cambridge University Press Gambar 6.8 Sinapsis dimodelkan dengan suatu rangkaian analog. kanisme pengatur detak reguler; (2) suatu modulator, yaitu suatu mekanisme yang mengubah detak dari escapement tersebut ke dalam gerak yang dapat diamati; dan (3) suatu permukaan jam, yaitu suatu permukaan di mana detak yang telah dimodulasi tadi dapat diamati. Neuron berfungsi sebagai escape- ‘ment dari jam biologis. Otot dan kelenjar melakukan penyekalaan waktu dengan merata-ratakan keluaran dari neuron. Akhimwya, efek dari penyekalaan tersebut tampak melalui fungsi badaniah seperti pemafasan. Perhatikan suatu jam dengan jarum penunjuk tunggal. Kita mengambil jarak anguler jarum tersebut dari posisi diamnya @ sebagai suatu ukuran waktu yang telah dilalui. Maka dapat kita ketakan bahwa: dé _ Baa. Dengan demikian laju perubahan dari ¢ adalah a. Kita dapat menganggap jam sederhana int digerakkan oleh suatu motor yang menghasilkan laju @ tersebut, namun jelas dari cara perubahan laju fungsi tubuh dalam keadaan vyang berbeda-beda bahwa tubuh manusia memiliki pengertian waktu yang berbeda. Suatu jam sedethana yang termodulasi merupakan model yang lebih cocok bagi jam tubuh, dan dideskripsikan sebagai berikut:186 Pengantar Jaringan Neural “AGS di mana f memilki periode 2x; f melewati satu siklus penuh dalam 144 menit, yoitu satu hari, Secara umum, kita dapat memodelkan suatu jam modulasinya dapat berasal dari berbagai sumber (sinyal luar, umpan-bal fasa jam, dan interaksi dengan jam-jam lainnya) sebagai berikut: dé Ba Fb. ytssesitbeds a Fl. dd: ) di mana Yt, We, 1 fo adalah fasa dari jam-jam lainnya yang mempengaruhi jr ini. Hoppensteadt menunjukkan bahwa jaringan neural VCON diatur oleh pet samaan yang memiliki bentuk yang serupa dengan persamaan di atas. Neuron digandengkan satu sama lain oleh aktivitas kimiawi yang ter} antara neurotransmitter yang dilepaskan ke dalam celah sinapsis dan mem| bran postsinapsis. Karena kita telah mempelajari aspek pewaktuan dari pol kerja suatu neuron, perlu dipelajari pula metode-metode penggandeng jamjam satu sama lain. Untuk menyadari relevansinya perlu diperhatika bahwa semua jam biologis bekerja dalam suatu ‘kolam’ kimia yang sa dan dengan demikian harus disinkronkan. Hal ini membawa kita gagasan mengenai penguncian fasa (phase locking), suatu fenomena yan: ‘menjelaskan bagaimana suatu jaringan yang besar dan rumit dapat sinkro dalam cara-cara yang stabil. Untuk memberikan suatu pegangan intuitif konsep ini, Hoppensteadt menggunakan contoh not pada piano y% terbentuk dari suatu pengetuk yang memukul tiga senar bersama-sama| Meskipun ketiga senar tadi tidak dapat di-tune dengan cara yang per sama, namun jika ketiganya di-tune cukup dekat maka oleh pengunciaa fasa ketiganya akan bergetar pada frekuensi yang sama saat dipuku Demikian pula beberapa jam bandul yang digantungkan pada suatu dindi disinkronisasi oleh getaran tak langsung pada dinding dan bahkan di udara| Loop-terkunci-fasa (phase-locked loop - PLL) merupakan bagian pali mendasar dari rangkaian pewaktuan elektronik. Penelaahan terhadap prinsiModel Hopfeld dan Hoppensteadt 187 Dicetak wang sefin Cambridge University Press. Gambar 6.9 Representasi diagramatik darl VCON. dasar suatu PLL menunjukkan bahwa suatu VCON sebenamya adalah suatu PLL. Untuk menunjukkan hal ini perlu diperkenalkan beberapa definisi rangkaian elektronik dasar. Suatu rangkaian detektor fasa memberikan keluaran berupa suatu fungsi periodik dari perbedaan fasa antara kedua masukannya. Gambar 6.10{a) memperiihatkan suatu sinyal masukan dengan fasa xin yang dibandingkan terhadap suatu sinyal referensi dengan fase xy. Dalam diagram skematik umum Gambar 6.10(b), Vix) adalah suatu tegangan dengan fasa x, V memi- liki periode 2[pi], Q adalah suatu karakteristik detektor fasa periodik dengan QO) = 0 dan: [ vide = 0. Suatu VCO menggabungkan tegangan kendalinya dalam fasa keluaran- nya seperti diperlihatkan dalam Gambar 6.11. Model rangkaian PLL dasar (Gambar 6.12) diperjelas dengan penelusur- an sepanjang loop.188 Pengantar Jaringan Neural Acos ix.) Face) KAB sinix,.x, vy) 7 Qir-y) case : wi ible, EO Beas.) ve 4 (1 Dcetak olang sojin Cambricge Universy Press Gambar 6.10 Rangkalan detektor fasa: (a) sinyal masukan dibandingkab dengan sinyal referensi; dan (b) diagram skematik. 2(t) = K(piA sinktn — Xwo) Periu diperhatikan bahwa di sini k'(p) adalah transformasi Laplace dari fungi {t) dan dierikan oleh hubungan: Deeiakulang sein Cambridge University Press. Gambar 6.11 VCO dengan tegangan kendali dalam fasa keluaran.Mode! Hopfield dan Hoppensteadt 189 icetak ulang sejin Cambridge Universty Press. Gambar 6.12 Model untuk rangkaian PLL dasar. enka Untuk suatu tegangan akuisisi konstan (e(#) = eo), xin = w"t, dan tidak ada filter (yaitu k"(p) = 1), diperoleh: dn oye dt i dawn + a Pe og + wn tA Simla — xen) Suatu pencampur/mixer (Gambar 6.13) merupakan gabungan dari pe- ‘ngali/pembagi frekuensi dan detektor fasa. Pada dasamya, kedua fasa masuk- an x dan y dan semua kombinasi harmoniknya diperbandingkan. Di sini, n = (myn2) adalah suatu multiindex dan B, adalah amplituda deteksi har- monik (nyx,nay). ‘Akhimnya kita peroleh suatu loop-terkunci-fasa multi-modal seperti diper lihatkan dalam Gambar 6.14.190 Pengantar Jaringan Neural La, sin (n,x-n,y a=) Dicotak lang sajin Cambridge University Press Gambar 6.13 Diagram dari suatu pencampur (mixer) multi-modal. Kita telah melihat bahwa keluaran dari rangkaian SYN adalah period dalam tiap masukannya, Vtx) (dari dalam sel) dan VY), (‘memaksa’ VCO} ‘melalui SYD). Ini dapat dickspansikan dalam suatu deret Fourier menjadi: Yo gimem y man ———} Piimuti-moda [22s Dicotak wang sein Cambridge University Press. Gambar 6.14 Diagram dari suatu PLL multi-modal,Model Hopfield dan Hoppensteadt 191 PVG) + Vie = ED Cn ser SYN adalah suatu pencampur multi-modal, dan rangkaian VCON (yang ske- ‘matiknya telah ditunjukkan sebelumnya) adalah suatu PLL multi-modal. Hoppensteadt telah menunjukkan metode veltor rotasi dalam mempela- jari penguncian fasa antara pewaktu (timer). Ini diberikan di bawah ini bukan hanya untuk kelengkapan, tetapi juga karena memperjelas konsep penguncian fasa. Misalkan: dx r + eflxe) di mana = (Kt, ey Xe f periodik dalam setiap komponen x, dan 8 kecil dan positif. Jika kita melakukan penggantian variabel sederhana sehingga v = «x dan uy = Wh.x, maka: dv de an ae woe = Dui + eufixe), a dan 2 Ma anpieo. jika kita memilth vektor-vektor We, .... Wn semuanya ortogonal terhadap @ dan semua ortogonal secara berpasangan (pairwise). Perlu diperhatikan bahwa v adalah suatu variabel time-like (berubab-ubah sesuai dengan o°t) dan variabel-variabel u, berubah secara lambat terhadap 1. Hoppensteadt selanjutnya menggunakan metode perata-rataan Bogoli-192. Pengantar Jaringan Newal uboff (pembahasannya di luar lingkup teks ini) untuk merate-ratakan per-| samaan u terhadap variabel time-like v: au, ee TM PCa ld) Diperoleh bahwa jika persamaan yang telah dirata-ratakan untuk U_me+ miliki kesetimbangan yang stabil secara eksponensial (U mendekati U" jka| t mendekati takberhingga) maka Komponen u dari sistem aslinya tetap| dibatasi (bounded) untuk seluruh waktu jika e cukup kecil, Sekarang, jika kita mengetahui v dan u, kita dapat menentukan x: 2,3, X= vow? + x= Wo Zu " wy + Roan dan karena komponen dari u dibatasi, maka: KyKE iy Se wytwet ss twy as Ee © adalah vektor rotasi, karena perbandingan relatif dari komponennyal memberikan frekuensi relatif dari fasa jam yang beragam tersebut Penguncian fasa sekarang dapat dijelaskan dalam pengertian seperti y baru saja diberikan. Dalam kondisi yang baru saja disebutkan, adalah mungki ‘untuk memberikan usikan pada rekuensi bebas hingga mencapai derajat Ofe}, dengan ¢ tetap kecil, dan tetap mempunyai perbandingan pembatas yang| sama, Sistem ini dikatakan terkunci-fasa pada frekuensi bebas tersebut: Dengan demikian, metode vektor rotasi menunjukkan bahwa sekumpulanyModel Hopfield dan Hoppensteadt 193 jam yang terkunci-fasa berperilaku seperti suatu jam tunggal pada satu skala waktu dengan banyak keluaran. Jika otak dipandang sebagai suatu permukaan energi, maka ‘lembah’ akan berkorespondensi dengan respon otak yang stabil dan dapat berulang, ‘Suatu stimulus eksternal akan memberikan suatu kondisi awal dan pola enembakan (firing) dari otak akan berubah secara dinamik menuju ke salah satu pola yang direpresentasikan oleh suatu dasar ‘lembah’. Untuk memben- tuk suatu analogi mekanis bagi urutan kejadian ini, sampainya stimulus ekster- nal tersebut diumpamakan dengan menempatkan sebuah bola pada suatu permukaan yang tidak rata, dan evolusi pola penembakan dari otak dium: pamakan dengan bola tersebut bergerak pada permukaan tadi menuju ke suatu posisi di mana bola tadi mempunyai energi potensial terendah. Dasar- dasar ‘lembah’ dalam model otak adalah respon-respon yang diingat, yang dapat berupa pengingatan informasi atau modifikasi perilaku. Pendekatan Hoppensteadt menunjukkan bahwa kita dapat menemukan suatu permukaan respon-frekuensi yang lembahnya merepresentasikan korn- binasi terkunci-fasa (phase-locked) yang stabil dari penembakan. Tiap neuron memiliki suatu kombinasi yang kaya dari respon stabil yang demikian, dan berbagai hubungan antar neuron dapat membangkitkan beragam kombinasi dari respon yang stabil 6.4 Beberapa Tanggapan Umum mengenai Pencarian dengan Metode Relaksasi (Relaxation Searches) Jaringan Hopfield menggunakan teknik relaksasi untuk melakukan pencatian berkendala-banyak (multiple-constraint search) yang memuasken (unit da~ lam jaringan secara iteratif berkonvergensi ke suatu keadaan stabil yang merepresentasikan suatu ‘solusi yang baik’ untuk masalah tersebut). Hinton (19866) memberikan daftar pertanyean yang harus dijawab dalam hubung- annya dengan pencarian dengan metode relaksasi sebelum dapat digunakan secara ekstensif. 1. Apakah jaringan akan selesai melakukan pengolahan, atau justru berosilasi tanpa tujuan? Jika jaringan selesai melakukan pengolah- an, berapa lama waktu yang dibutuhkan oleh proses tersebut?194 Pengantar Jaringan Neural 2. Apa yang dihitung oleh jaringan tersebut dalam proses penyelesaian pengolahan (settling down) tersebut? 3. Berapa banyak informasi yang perlu disalurkan tiap unit ke unit tetangganya selama proses penyelesaian pengolahan tersebut? 4. Bagaimana caranya memperoleh bobot yang mengkodekan penge- tahuan itu sendiri? Buku ini terutama membahas pertanyaan terakhir, tetapi baik juga ditinjau pertanyaan lainnya dalam batasan mana penelitian ilmiah ekstensif yang} sekarang ini perlu dilakukan. Beberapa tanggapan umum mengenai pen- carian dengan metode relaksasi perlu disebutkan di sini. Pertama-tama| dalam hubungannya dengan pertanyaan 1 dan 2. dika suatu biaya dihu- bbungkan dengan tiap keadaan jaringan, dan jika dapat diperlihatkan bahwa biaya ini diminimisasi pada tiap iterasi, maka kita dapat meyakini bahwal Jaringan tersebut benar-menar menghitung sesuatu (yaitu menghitung kea- ‘daan-biaya optimal/minimal dari jaringan tersebut) dan bahwa proses akan!| berhenti jika perhitungan selesai dilakukan. Kita telah menjumpai gegasan| minimisasi biaya ini pada bagian awal bab ini. Jika suatu pendekatan| pemrograman linear akan dipakat untuk minimisasi biaya ini, maka perlu diingat bahwa terdapat suatu perbedaan yang sangat jelas antara biayal dengan batasan di mana yang pertama harus dipenuhi. Dengan demikian| suatu solusi dengan biaya yang sangat rendah namun melanggar — misal- nya — salah satu saja dari batasan yang diberikan, tidak dapat diterima, Tetapi dalam sistem di mana kita hendak menerapkan jaringan relaksasi {yaitu sistem ‘penglihatan), kita dapat menerima interpretasi yang melang/ gar suatu batasan asalkan memenuhi yang lainnya. Ini menunjukkan bahwa| batasan yang kita berikan ‘lebih lemah’. Batasan yang kita berlkan dapat| diwujudkan, dan solusi yang kita inginkan adalah yang cocok dengan batasan| ini, serta mungkin dicapai (ini melingkupi pertimbangan ganda untuk me+ menuhi batasan sebanyak mungkin sambil secara simultan. meminimisasi biave). Pemberlakuan batasan secara tegas diimplementasikan oleh penggunaan| untai_ umpar-balik (besarnya penyimpangan nilai arus terhadap batasan| diukur, dan nila tersebut diubah untuk mengurangi penyimpangan ini). Kita dapat menghilangkan untai umpan-balik terpisah untuk batasan tersebut dan mengkodekan batasan yang ‘lemah’ langsung dalam antarhubungan|Model Hopfield dan Hoppensteadt 195 pembangkit (excitatory) dan penghambat (inhibitory). Kita membolehkan pemenuhan batasan secara parsial; meskipun demikian, untuk menjaga agar jaringan tersebut tidak menyimpang dari yang dimaksudkan dengan berhenti pada suatu keadaan di mana banyak unit masih sedikit aktif, dan untuk mempercepat konvergensi jaringan, kita menggunakan suatu aturan pengambilan keputusan nonlinear. Karena keluaran yang dituju oleh relak- Sasi jaringan sangat bergantung peda keadaan awal, ini menunjukkan bahwa masalah tersebut harus dikodekan dalam keadaan awal. Prinsip memori berpengalamatar-isi jelas di sini. Jika titik minimum merepresentasikan item-item memori dan jika keadaan awal adalah suatu query yang merepre- sentasikan suatu posisi dalam ruang di mana fungsi yang sedang dimini sasi didefinisikan, maka relaksasi berarah ke item memori/titik minimum. vang terdekat. Dalam masalah berat, adalah mungkin bagi penurunan gradien untuk terperangkap dalam minimum lokal dan bukan minimum global. Terdapat dua alternatif untuk mengatasi masalah ini, Salah satunya adalah dengan menggunakan maselahnya sendiri untuk membentuk suatu memori berpe- ngalamatanisi seperti dalam jaringanHopfield, di mana yang dicari adalah minimum lokal. Altematif lain adalah dengan menentukan aturan yang memungkinkan untuk keluar dari situasi di mana pencarian terperangkap dalam suatu minimum lokal. Jika kita memandang fungsi yang sedang kita minimisasi ini sebagai suatu fungsi energi, maka metode terakhir ini pada dasamya membawa kita untuk sekali meninggalkan penurunan kontinu ke keadaan berenergi lebih rendah, dan melompat ke suatu keadaan berenergi lebih tinggi. Untuk memperjelas pendekatan ini, berikut akan diberikan suatu analog’ fisika sederhana. Misalkan suatu keadaan di mana sebuah bola yang diletakkan secara acak pada suatu permukaan pada saat awal mempunyai kemungkinan yang sama untuk jatuh ke A atau B. Jika sistem tersebut diberi usikan kecil terdapat kernungkinan lebih besar bahwa bola akan bergerak dari A ke B daripada sebaliknya. Jika sistem diberi usikan kuat, kemungkinan bola tersebut bergerak dari B ke A adalah sebesar kemungkinannya untuk bergerak dari A ke B. Sekarang, bayangkan bahwa A adalah suatu mini- mum lokal yang ingin kita hindari dan B adalah minimum global yang kita cari, Maka, strategi terbaik adalah dengan memulai dengan suatu goncang- an kuat dan kemudian memperkecil goncangan tadi. Teknik ini dium- pamakan dengan proses penguatan (annealing) suatu logam (di mana196 Pengantar Jaringan Neural suatu keadaan energi sangat rendah dari logam tersebut diperoleh dengah melelehkan logam tadi dan kemudian dengan perlahan-lahan mengurangi suhunya) dan disebut simulated annealing (ihat Gambar 6.15). Simulated annealing dapat diterapkan pada jaringan Hopfield deng ‘cara sebagai berikut. Jika celah energi antara keadaan 1 dan 0 dari unit ke+ dalam jaringan tersebut adalah AE;, maka tanpa mengindahkan himpuna keadaan sebelumnya, s; = 1 (di mana sy adalah keadaan dari unit ke dengan probebiltas: di mana T adalah suatu barameter yang berlaku seperti suhu sistem. Dipe ich bahva daar heseliibangantermal probabil seat untuk brah dalam dua keadaan global mempunyai distribusi Boltzmann: 2 tee = EoT Gambar 6.15. Prinsip simulated annealingModel Hopfield dan Hoppensieadt 197 di mana P, adalah probabilitas berada dalam keadaan global kei dan E, adalah energi keadaan tersebut Probabilitas dari keadaan global dengan demikian ditentukan oleh tingkat cenerginya. Meskipun pengubahan suatu bobot tunggal mempenganuhi ener- i dari lebih dari satu keadaan global, terdapat suatu hubungan yang cocok yang diberikan oleh Hinton (1986b) yang menunjukkan pengaruh dari suatu pengubahan bobot terhadap tiap keadaan global, Jika unit yang tampak merupakan unit yang menentukan pola yang akan dipelajari, maka dimana sf = keadaan biner dari unit ke-i dalam keadaan global ke-c., dan P = probabilitas (pada kesetimbangan) dari keadaan global a dari jaring- an jika tidak ada unit tampak ang dibatasi ke suatu nilai tertentu Dengan demikian, pengaruh dari suatu pengubahan bobot dapat dihitung dari informasi lokal yang relevan hanya kepada simpul yang dihubungkan oleh bobot tesebut. Meskipun ini berarti bahwa probabilitas keadaan-global dapat dimanipulasi dengan mudah jika diketahui, kenyataannya adalah bahwa probabilitas ini umumnya tidak diketahui, dan adalah tugas dari Jaringan tersebut untuk menentukan bagaimana mengqunakan unit hidden- nya untuk menirukan perilaku dati unit-unit yang tampak. Perlu diingat kembali aturan Widrow-Hoff (iat Bab 4) dan prosedur konvergensi persep- tron (Bab 3) gagal dalam menyelesaikan masalah XOR. Hal ini karena aturan tersebut tidak dirancang untuk menangkap apa saja yang ada di luar strutur berorde-dua, Secara statistik, probabilitas terbisah dari tiap unit tampak yang aktif ‘menangkap’ struktur orde-satu sedangkan korelasi berpasangan v/2 (di antara v unit-unit tampak) "menangkap’ struktur orde-dua. Untuk statistik dengan orde lebih tinggi memerlupan penggunaan lebih dari seke- dar unit tampak. Untuk memungkinkan penggunaan hubungan berpasang- an (pairwise) antara unit untuk menangkap statistik berderajat lebih tinggi, struktur orde-tinggi perks dinyatakan dalam pengertian struldur orde-dua198 Pengantar Jaringan Neural dari suatu himpunan unit yang lebih besar. Unit tambahan ini adalah vé kita maksudkan sebagai unit hidden. Hinton (1986b) merujuk pada tug untuk: mempelajari bagaimana menggunakan unit tambahan sebagai hart- learning dan memberikan petunjuk bahwa aturan Widrow-Hoff ti ‘mampu untuk hard-learning. Kemampuan untuk menggunakan informa lokal (pada kesetimbangan) untuk menentukan besaran global muncul lap dalam algoritma belajar mesin Boltzmann yang dibahas dalam bab berikut 6.5 Algoritma Belajar Mesin Boltzmann Jika lingkungan melakukan clamping suatu vektor terhadap unit tamy dan membolehkan jaringan untuk mencapai kesetimbangan, struktur ler kep dari susunan lingkungan (environmental ensemble) tersebut dappt diperoleh dari distribusi probabilitas P'(V,) dari masing-masing dari vektor pada v unit tampak. Hinton (1986b) menjelaskan bahwa interpretdst dari clamped vector ini adalah bahwa jaringan tersebut mencapai s keadaan kesetimbangan dengan vektor ini sebagai satu kondisi pembat Distribust ini tidak bergantung pada bobot. Sebaliknya jika tidak ada ust yang diclamp, disebablan karena perilaku stokastik dari unit terse! jaringan akan melalui beberapa keadaan dan menghasilkan distribusi prot bilitasnya sendiri, P(V). Suatu kelompok bobot tertentu membentuk su model sempuma dari struktur lingkungan jika ini membawa pada distri probabilitas yang tepat sama dari vektor tampak pada saat jaringan bekerja dengan bebas (free-running) tanpa ada unit yang di-clamp ol lingkungan. Suatu tolok ukur teoretis-informasi terhadap jarals antara dist busi probabilitas lingkungan dan distribusi probabilitas free-running fai diberikan oleh: Ga ze) aD Ini memberikan jarak (dalam bit) deri distribusi free-running ke distri Jingkungan, dan kadang-kadang dipandang sebagai divergensi asimetris athu‘Mode! Hopfield dan Hoppensteadt 199 Ser eae EEE, gE EEEEELEELELCELSL SOLE gain informasi. Seperti di atas, tampak bahwa meminimisasi G merupakan suatu masalah komputasional yang sulit dengan adanya kenyataan bahwa pengubahan suatu bobot akan mempengaruhi probabilitas dari banyak minimum global. Sekali lagi, semua informasi yang dibutuhkan mengenai bobot lain untuk melakukan perubahan terhadap wy dengan tepat, tampak dalam perilaku dari unit ke-i dan ke-j pada kesetimbangan termal. Perubah- an ini diberikan oleh: id in, di mana, probabilitas bahwa unit ke-i dan ke-j keduanya on saat jaringan dikendalikan oleh lingkungan, dan y= probabiltes bahwa unit ke-i dan ke-j keduanya on pada saat jaring- an dalam keadaan free-running, Unit hidden tidak dapat menentukan apakah informasi yang diterimanya ‘merupakan suatu pengaruh dari ambiensi lingkungan atau hanya dihasilkan dari bobot lainnya. Terdapat suatu kemungkinan yang tak diinginkan bahwa tiap bagian dari jaringan membentuk model dari yang lainnya, dan dalam Prosesnya mengabaikan lingkungan ekstemal. Kondisi free-running dari jaringan tersebut bertindak sebagai suatu contro! run. Karena cara kerja dari kesetimbangan matematik, adalah mungkin untuk mengeliminasi faktor intemal mumi, dan menggunakan perbedaan tersebut untuk memperbaha- tui bobot. Penentuan turunan parsial dari G tidak melengkapkan algoritma belajar tersebut. Hinton (1986b) menunjukkan bahwa jumlah dari tiap pengubahan bobot masih peru ditentukan. Yang juga masih belum jelas adalah solusi untuk pertanyaan seperti berape lama waktu yang diperlukan untuk menga- ‘mati statistik sebelum pengubahan bobot, berapa banyak bobot yang harus diubah, dan yang sejenisnya. Jika metode trial-and-error dapat dilakukan untuk jaringan sederhana, kesulitan dapat timbul dalam situasi yang lebih kompleks. Sebagai contoh, tidak ada yang dapat menghalangi terbentuknya bobot yang sangat besar yang dapat terjadi dalam barrier energi yang200, Pengantar Jaringan Neural sangat besar, yang menghalangi tercapainya kesetimbangan. Deng demikian hubungan yang digunakan untuk menentukan turunan parsial a G tidak berlaku lagi. Untuk menghindari hal ini, bobot harus dijaga agbr tetap kecil, misalnya dengan menggunakan suatu peluruhan bobot (den: laju peluruhan ini dibuat sebanding dengan magnituda absolut dari vet tersebut). Magnituda dari suatu bobot selarang menunjulkan tingkat kepep- tingan untuk memodelkan struktur lingkungan. Meskipun demikian, terd- pat pula beberapa efek sampingan. Dengan bobot yang keel, tidak mungln lagi untuk membuat perbandingan probabilitas untuk keadaan global meh- jadi sangat berbeda. Ini berakibat bahwa lingkungan di mana vektor yal sama memiliki probabilitas yang berbeda, tidak dapat dimodelkan deng} baik. 6.6 Tinjauan Pustaka Hopfield (1986) memberikan kerangka kerja konseptual yang eer untuk memahar komputasi dalam model rangkaian neural. Karya ini mefn- berikan suatu: penjelasan yang padat mengenai hubungan antara jaringhn Hopfield dan relasinya dengan biologi. Hopfield (1985) memberkan d detail implementasi elektronik dar jaringan Hopfield dan membahas lah penjual keliing. Juga dibohas hasil simulasi dan varian dari m penjual keliing. Hopfield (1984) menunjukkan bahwa neuron dengan fe- spon bertingkat (graded) mempunyai sifat komputasional kolektif sep4rti org dill oleh neuron Keadaan ganda (twostate),Sabogian dar mai dalam Sub bab 6.2 diambil dari sumber-sumber ini, dan pembaca dianjurlfan| untuk membacanya demi kejelasan. Sub bab 6.2.5 memberikan pengantar yang jelas pada beberapa kayal dari Platt (1987) mengenai optimisasi diferensial berkendala (constrain arya ini merupakan suatu sumber yang baik untuk suatu pembahasan rhe- ngenai beberapa metode klasik optimisasi berkendala. Bab ini telah memba‘ has pengantar ke BDMM (basic differential multiplier method — met pengali diferensial dasa). Pembahasan tersebut dimotivasi oleh aplitps| BDMM pada masalah penjual keliing. Pembahasan yang lebih mendefail tentang BDMM ini dapat djumpal dalam sumber yang telah disebutkar{ di‘Model Hopfield dan Hoppensteadt 201 atas, Secara khusus, karya terscbut membahas aplikasi BDMM pada mase- lah neura! lainnya, yaitu pendekodean analog {analog decoding) Takeda (1986) memberikan suatu pembahasan mengenai materi dalam Sub bab 6.2.7, 6.2.8, dan 6.2.9. Karya ini dapat digunakan sebagai refe rensi untuk aplikasi dari pola representasi bilangan yang disebutkan dalam. bab ini untuls masalah Hitchcock (suatu masalah “aliran”* di mana akan dlicari suatu aliran yang menemukan suatu solusi biaya-minimum bagi masalah pemenuhan sejumlah tertentu permintaan (demand) dari sejumlah tertentu sumber (source). Terdapat pula pembahasan mengenai solusi persamaan simultan pada suatu jaringan neural Sub bab 6.3 merupakan rangkuman dari beberapa gagasan menarik dati buku Hoppensteadt (1986). Sumber ini memberikan detail yang kaya me- nngenai materi yang diberikan dalam bab ini dan mengenai berbagai material Jain yang relevan yang di lua lingkup pembahasan buku ini Hinton (1986b) memberikan materi bagi Sub bab 6.4 dan 6.5, Sumber ini membertkan cara penurunan algoritma belajar mesin Boltzmann serta suatu contoh dari metode belajar yang keras (hard learning).