Artificial Neural Network Part 2

Arsitektur Artiftcial Neural Network

Arsitektur atau struktur ANN adalah gambaran susunan komponen layer dan neuron pada input, hidden dan output yang terhubung dengan bobot, fungsi aktivasi dan fungsi pembelajaran (learning function). Menurut Haykin [3], ter- dapat 3 kelas dasar arsitektur ANN yaitu ANN dengan layer tunggal umpan maju (Single layer feedforward network ), ANN dengan multi layer umpan maju (Multilayer feedforward network ) dan ANN berulang (Recurrent Network ).

Single Layer Feedforward Network

Arsitektur Single layer feedforward network terdiri dari dua layer yaitu layer input dan layer output, dimana layer input berperan dalam menerima sinyal data input sedangkan layer output berfungsi sebagai media dalam memberikan hasil output. Layer input disusun oleh beberapa neuron yang dihubungkan oleh bobot menuju layer output dalam satu alur maju dan tidak sebaliknya.  Itu-  lah sebabnya arsitektur ini disebut sebagai arsitektur umpan maju. Walaupun arsitektur ini terdiri dari dua layer, namun arsitektur ini dikategorikan sebagai arsitektur layer tunggal karena layer output secara tunggal melakukan proses komputasi tanpa melibatkan layer lain diantara layer input dan output. Gam- baran Single layer feedforward network dapat dilihat pada Gambar 1

Single layer feedforward network biasa digunakan untuk menyelesaikan kasus- kasus yang bersifat linearly separable.Linearly separable adalah suatu kondisi klasifikasi  vektor  dimensi-n  ˙x =  (x1, x2, …, xn)  kepada  dua  kelas  tertentu,  di- mana setiap kelasnya dapat dipisahkan oleh tepat satu garis lurus. Salah satu contoh kasus linearly separable yang dapat diimplementasikan adalah klasifikasi kelas mamalia dan non-mamalia yang ditunjukan oleh Gambar 2. Namun pada umumnya, dalam kehidupan sehari-hari mayoritas kasus yang diselesaikan den- gan menggunakan ANN adalah nonlinaerly separable. Oleh sebab itu diperlukan arsitektur yang dapat menangani hal ini, yaitu multilayer feedforward network.

Multilayer  Feedforward Network

Kelas kedua arsitektur ANN adalah Multilayer feedforward Network yang memiliki layer tambahan diantara layer input dan layer output, dikenal juga sebagai layer hidden. Layer hidden terdiri dari neuron hidden yang melakukan perhitungan dari layer input untuk kemudian dilanjutkan kepada layer output. Dalam satu arsitektur multilayer jumlah layer hidden  yang  digunakan  boleh  lebih dari satu, sesuai dengan kasus ataupun masalah yang akan diselesaikan.  Layer input dihubungkan ke layer hidden oleh  himpunan  bobot,  begitu  juga layer hidden ke layer output dihubungkan oleh bobot  dengan  sistem  umpan  maju dan tidak sebaliknya. Suatu Multilayer feedforward network dapat dit- uliskan sebagai n − l1 − l2 − · · · − lk − m, dimana n adalah jumlah neuron in- put, l1 adalah jumlah neuron pada layer hidden pertama, l2  adalah  jumlah  neuron pada layer hidden kedua,  lk  adalah jumlah neuron pada layer  hidden  ke-k dan m adalah jumlah neuron pada layer output. Skema Multilayer feed- forward Network dengan konfigurasi n − l − m dapat dilihat pada Gambar 3.

Recurrent Network

Arsitektur ANN berulang (Recurrent Network ) memiliki perbedaan dengan dua arsitektur terdahulu yang bersifat umpan maju (feedforward )dan tidak se- baliknya. ANN berulang memiliki karakteristik terdapat minimal satu perulan- gan (loop) umpan balik yang bertujuan untuk meningkatkan kemampuannya dalam mempelajari karakter sementara dari set data yang diberikan [2][5]. Ter- dapat beberapa jenis ANN berulang yang telah dikembangkan oleh para peneliti terdahulu, dua diantaranya dikembangkan oleh Elman [1] dan Jordan [4] yang merupakan bentuk ANN berulang sederhana.

ANN berulang model Elman melakukan proses learning dengan membuat salinan neuron layer hidden pada layer input disebut sebagai context input, sehingga salinan ini berfungsi sebagai perpanjangan dari input layer. Fungsi dari context input ini adalah untuk menyimpan status ataupun keadaaan sebelumnya dari layer hidden, untuk kemudian disampaikan kembali kepada layer  hidden.

Hubungan antara context input dan layer hidden adalah terhubung penuh (fully connected ) dan diberi bobot 1. Berbeda dengan ANN berulang model Elman yang membuat salinan layer hidden, model Jordan melakukan proses learning dengan membuat salinan layer output pada layer input yang disebut sebagai state layer [4]. Dengan proses ini,hasil output pada iterasi sebelumnya akan menjadi bagian dari input pada iterasi selanjutnya. Gambaran arsitektur ANN berulang model Elman dan Jordan berturut-turut di tunjukan oleh Gambar 4 dan Gambar 5

Bibliography

[1] Jeffrey L Elman.  Distributed  representations,  simple  recurrent  networks, and grammatical structure. Machine learning, 7(2-3):195–225, 1991.

[2] Andries P Engelbrecht. Fundamentals of computational swarm intelligence. John Wiley & Sons, 2006.

[3] Simon S Haykin, Simon S Haykin, Simon S Haykin, and Simon S Haykin. Neural networks and learning machines, volume 3. Pearson Education Upper Saddle River, 2009.

[4] M.I. Jordan. Attractor dynamics and parallelism in a connectionst sequential machine. In Proceedings of the Cognitive Science Conference, pages 531—- 546, 1986.

[5] S. Rajasekaran and G.A. Vijayalakshmi Pai. Neural networks, fuzzy logic and genetic algorithms: synthesis and applications. New Delhi, II : Prentice-Hall of  India, 2007.