2023-02-17

RNN

Apa itu RNN

RNN adalah singkatan dari Recurrent Neural Network. RNN adalah jenis jaringan saraf untuk memproses urutan data input, seperti data deret waktu atau bahasa alami, yang cocok untuk memproses data input kontinu, seperti data deret waktu atau bahasa alami.

RNN dapat mengambil urutan input, seperti data deret waktu, dan memprosesnya dengan mempertimbangkan ketergantungan temporal; RNN, tidak seperti jaringan saraf tradisional, dapat mempertahankan status untuk input mereka dan menyampaikan status sebelumnya ke langkah berikutnya. Hal ini memungkinkan RNN untuk menyimpan informasi masa lalu.

Dalam diagram RNN berikut, bagian dari output neural net pada waktu $t$ digunakan sebagai input ke neural net pada waktu $t+1$ . Dengan cara ini, memungkinkan adanya pertimbangan mengenai deret waktu.

RNN | 2
Understanding LSTM Networks

Arsitektur utama RNN meliputi RNN sederhana, LSTM, dan GRU. Arsitektur ini dapat menyimpan data input historis dan menggabungkannya dengan input saat ini untuk menghasilkan output. Arsitektur ini digunakan untuk tugas-tugas seperti prediksi data deret waktu, pemrosesan bahasa alami, pengenalan suara, dan keterangan gambar.

RNN | 3
A simple overview of RNN, LSTM and Attention Mechanism

Keadaan tersembunyi

Keadaan tersembunyi adalah istilah yang digunakan dalam bidang-bidang seperti pembelajaran mesin dan pemrosesan bahasa alami untuk merujuk pada keadaan yang tidak teramati yang dipertahankan oleh model secara internal.

Dalam RNN, keadaan tersembunyi dihitung dari input masa lalu dan outputnya sendiri dan digunakan untuk memprediksi dan memproses informasi tentang input berikutnya. RNN mengubah urutan input menjadi vektor tunggal dan memperbarui keadaan tersembunyi berdasarkan vektor tersebut. Kehadiran hidden state membuat model lebih ekspresif untuk masalah yang lebih kompleks dan memungkinkan prediksi yang memperhitungkan konsep deret waktu.

Keadaan tersembunyi pada $t$ diwakili oleh sebuah fungsi dari keadaan tersembunyi pada $t-1$ dan masukan $x_t$ .

h_t = g(h_{t-1}, x_t)

Karena output dari neuron berulang pada langkah waktu tertentu $t$ adalah fungsi dari inputnya hingga langkah waktu $t-1$ , mekanisme ini dapat dianggap sebagai semacam memori. Bagian dari jaringan saraf yang memiliki konsep menyimpan keadaan, bahkan sebagian, di seluruh langkah waktu biasanya disebut sebagai sel memori.

Hidden State
Understanding LSTM Networks

Perbedaan antara lapisan tersembunyi dan keadaan tersembunyi

Hidden state dan hidden layer adalah istilah yang digunakan dalam deep learning yang merupakan konsep yang mirip, tetapi memiliki arti yang sedikit berbeda.

Hidden state adalah istilah yang digunakan dalam model seperti RNN dan LSTM untuk menggambarkan keadaan internal, termasuk output pada waktu sebelumnya. dalam RNN, hidden state digunakan untuk memproses data deret waktu karena hal tersebut mempengaruhi input pada waktu berikutnya. Dalam LSTM, keadaan tersembunyi juga digunakan untuk menyimpan informasi masa lalu. Lapisan tersembunyi digunakan untuk memproses data deret waktu, karena mempengaruhi input pada waktu berikutnya.

Lapisan tersembunyi, di sisi lain, adalah istilah yang digunakan dalam jaringan saraf seperti multilayer perceptron (MLP) untuk merujuk pada lapisan perantara antara lapisan input dan output. Lapisan tersembunyi terdiri dari beberapa neuron, yang masing-masing menerima sinyal dari lapisan sebelumnya, menghitung jumlah tertimbang, dan menghasilkan output melalui fungsi aktivasi. Ketika ada beberapa lapisan tersembunyi, output dari setiap lapisan tersembunyi adalah input ke lapisan tersembunyi berikutnya atau lapisan output.

Dengan kata lain, hidden state dan hidden layer merupakan konsep yang merepresentasikan keadaan internal dalam machine learning, tetapi keduanya digunakan dalam konteks yang berbeda dan untuk tujuan yang berbeda. Hidden state digunakan untuk memproses data deret waktu, sedangkan hidden layer mewakili lapisan tengah dari jaringan saraf tiruan.

Tantangan RNN

Masalah utama yang membuat pelatihan RNN sangat lambat dan tidak efisien adalah masalah menghilangnya gradien Proses untuk jaringan saraf Feed Forward adalah sebagai berikut

Keluarkan beberapa hasil dalam umpan maju
gunakan hasil tersebut untuk menghitung nilai kerugian
gunakan nilai kerugian tersebut untuk merambat balik dan menghitung gradien sehubungan dengan bobot
menyebarkan kembali gradien ini sehubungan dengan bobot untuk menyempurnakan bobot dan meningkatkan kinerja jaringan

Karena bobot dimanipulasi sesuai dengan lapisan sebelumnya, gradien kecil cenderung menurun secara signifikan dengan setiap perubahan lapisan dan menjadi sangat dekat dengan nol, yang mengakibatkan pembelajaran yang buruk pada lapisan awal dan pembelajaran yang tidak efektif secara keseluruhan.

Hidden State | 3
A simple overview of RNN, LSTM and Attention Mechanism

Thus, if the gradient disappears, the RNN will not be able to learn long-range dependencies across time steps well. In other words, even if the initial input of a sequence is important to the overall context, it will not be important. Therefore, it cannot learn long sequences, resulting in short-term memory.

Hidden State | 4
Understanding LSTM Networks

Implementasi RNN

Berikut adalah beberapa contoh implementasi RNN menggunakan PyTorch dan Keras.

PyTorch

Berikut ini adalah contoh dasar penggunaan PyTorch untuk mendeskripsikan model RNN. Contoh ini menggunakan arsitektur RNN sederhana untuk melakukan tugas mengklasifikasikan kata.

import torch
import torch.nn as nn

class RNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(RNN, self).__init__()

        self.hidden_size = hidden_size
        self.rnn = nn.RNN(input_size, hidden_size)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, input):
        hidden = torch.zeros(1, 1, self.hidden_size)
        output, hidden = self.rnn(input, hidden)
        output = self.fc(output[-1, :, :])
        return output

Model ini mengambil kata-kata dengan ukuran input_size, melewatkannya melalui RNN dengan ukuran lapisan tersembunyi hidden_size, dan akhirnya menghasilkan keluaran klasifikasi dengan ukuran output_size. Kelas nn.RNN adalah lapisan RNN bawaan dalam PyTorch, dan nn.Linear mewakili lapisan yang terhubung sepenuhnya.

Metode forward melakukan penerusan pada input yang diberikan. Pertama, lapisan tersembunyi diinisialisasi. Kemudian, input dan keadaan tersembunyi saat ini diteruskan ke RNN untuk mendapatkan output dan keadaan tersembunyi yang baru. Akhirnya, hanya output dari langkah terakhir yang diambil dan dilewatkan melalui lapisan yang terhubung sepenuhnya untuk menghasilkan output klasifikasi.

RNN

Apa itu RNN

Keadaan tersembunyi

Perbedaan antara lapisan tersembunyi dan keadaan tersembunyi

Tantangan RNN

Implementasi RNN

PyTorch

Keras

Referensi

Penyematan kata

Attention

Ryusei Kakujo