2022-08-02

Random Forest

Apa itu Random Forest

Random Forest (hutan acak) adalah teknik pembelajaran ensemble yang menggabungkan kekuatan dari beberapa decision tree untuk membuat model yang lebih akurat dan tahan terhadap kesalahan. Pada intinya, teknik ini menggunakan prinsip pembelajaran decision tree dan bagging untuk mengatasi keterbatasan decision tree tunggal, terutama overfitting.

Ide dasar dari Random Forest adalah memanfaatkan "kebijaksanaan kerumunan" untuk membuat keputusan yang lebih baik. Dengan menggabungkan output dari banyak pembelajar lemah (decision tree), Random Forest dapat menciptakan model yang tahan terhadap kesalahan dengan akurasi dan kemampuan generalisasi yang tinggi.

Random Forest telah banyak digunakan dalam berbagai aplikasi, termasuk pengenalan gambar, pemrosesan bahasa alami, dan diagnosis medis, antara lain.

Algoritma Random Forest

Pada bab ini, saya akan menjelajahi algoritma Random Forest, yang mencakup komponen utamanya dan proses pembuatan random forest, serta bagaimana prediksi dibuat.

Randomness Fitur

Aspek kunci yang membedakan Random Forest dari bagging decision tree sederhana adalah pengenalan fitur randomness. Saat membangun setiap decision tree dalam ensemble, pada setiap split, hanya subset acak fitur yang dipertimbangkan. Pemilihan acak fitur ini memperkenalkan keberagaman di antara pohon-pohon individual, mengurangi korelasi di antara mereka dan pada gilirannya, mengurangi varian keseluruhan model.

Jumlah fitur yang akan dipertimbangkan pada setiap split adalah hiperparameter, biasanya dilambangkan sebagai m. Pilihan umum untuk m adalah akar kuadrat dari jumlah total fitur dalam dataset. Dengan memperkenalkan randomness fitur, Random Forest lebih mengurangi overfitting dan meningkatkan generalisasi model.

Out-of-Bag Error

Ketika membangun Random Forest, setiap decision tree dilatih pada subset acak dari data, yang dibuat menggunakan teknik bootstrapping. Bootstrapping adalah proses di mana sampel acak data dipilih dengan penggantian, yang berarti beberapa titik data dapat dipilih lebih dari satu kali, sedangkan yang lain mungkin tidak dipilih sama sekali. Biasanya, sekitar 63% dari titik data asli termasuk dalam setiap sampel bootstrap, meninggalkan 37% sisanya yang membentuk sampel out-of-bag (OOB).

Out-of-bag error memberikan cara yang mudah untuk memperkirakan kinerja model dengan menggunakan sampel OOB untuk validasi. Setiap decision tree dalam ensemble Random Forest diuji pada sampel OOB-nya yang sesuai, yang belum pernah dilihat selama pelatihan. Kesalahan rata-rata dari semua pohon untuk sampel OOB ini dihitung sebagai kesalahan OOB, yang berfungsi sebagai perkiraan tidak bias dari kinerja generalisasi model.

Membangun Random Forest

Algoritma Random Forest melibatkan langkah-langkah berikut untuk membangun random forest:

Tentukan jumlah pohon (n_estimators) yang akan dimasukkan dalam hutan.
Untuk setiap pohon, buat sampel bootstrap dari data pelatihan dengan penggantian.
Latih decision tree pada sampel bootstrap, hanya mempertimbangkan subset acak fitur (m) pada setiap split.
Ulangi langkah 2 dan 3 hingga jumlah pohon yang diinginkan terbentuk.

Setiap decision tree dalam Random Forest dilatih secara independen, sehingga algoritma ini sangat mudah di-paralelkan. Fitur ini memungkinkan Random Forest untuk mengatasi dengan efisien dataset besar dan ruang fitur berdimensi tinggi.

Membuat Prediksi

Setelah Random Forest dibangun, prediksi dibuat dengan menggabungkan prediksi individual dari semua decision tree dalam ensemble. Metode penggabungan tergantung pada tugas yang sedang dihadapi:

Untuk tugas klasifikasi, setiap pohon dalam ensemble memberikan suara untuk label kelas. Kelas dengan jumlah suara terbanyak dipilih sebagai prediksi akhir.
Untuk tugas regresi, prediksi pohon individual dirata-ratakan untuk mendapatkan prediksi akhir.

Penggabungan prediksi ini membantu mengurangi varian dan meningkatkan akurasi keseluruhan model. Dengan memanfaatkan "kebijaksanaan kerumunan", Random Forest mencapai generalisasi yang lebih baik pada data yang tidak terlihat dibandingkan dengan decision tree individual.

Kelebihan dan Kekurangan Random Forest

Pada bab ini, saya akan membahas berbagai kelebihan dan kekurangan dari Random Forest, menyoroti kekuatan dan kelemahan mereka, serta mengidentifikasi skenario di mana mereka tampil dengan baik dan situasi di mana mereka mungkin bukan pilihan yang ideal.

Kelebihan

Akurasi yang Meningkat
Dengan menggabungkan prediksi dari beberapa decision tree, Random Forest sering mencapai akurasi yang lebih tinggi dan generalisasi yang lebih baik dibandingkan dengan decision tree individual. Pendekatan ensemble mengurangi overfitting dan meningkatkan kinerja model pada data yang tidak terlihat.
Keuletan terhadap Noise
Random Forest kurang sensitif terhadap noise pada data, karena penggabungan prediksi dari beberapa decision tree membantu membatalkan dampak noise pada decision tree individual.
Kebermaknaan Fitur
Random Forest dapat memperkirakan pentingnya fitur individual dalam dataset, memberikan wawasan yang berharga tentang fitur mana yang paling berkontribusi pada prediksi model. Ini dapat berguna dalam seleksi fitur dan memahami hubungan yang mendasar dalam data.
Menangani Jenis Data Campuran
Random Forest dapat menangani data numerik dan kategorikal, membuatnya cocok untuk berbagai aplikasi.
Paralelisasi
Pembangunan pohon individual dalam Random Forest dapat diparalelkan, memungkinkan penanganan dataset besar dan ruang fitur berdimensi tinggi secara efisien.

SensitHyperparameter yang Rendah
Random Forest relatif kurang sensitif terhadap pilihan hyperparameter dibandingkan dengan beberapa algoritma pembelajaran mesin lainnya. Meskipun penyetelan hyperparameter dapat membantu mengoptimalkan model, Random Forest umumnya tampil dengan baik dengan pengaturan hyperparameter default.

Kekurangan

Kebermaknaan Model
Meskipun decision tree individual mudah diinterpretasikan, Random Forest kehilangan sebagian kebermaknaan ini karena sifat ensemble dari model. Memahami dasar dari prediksi Random Forest bisa lebih menantang dibandingkan dengan decision tree tunggal.
Kompleksitas Komputasi
Pembangunan beberapa decision tree dalam Random Forest dapat menjadi mahal secara komputasi, terutama untuk dataset besar dengan banyak fitur. Meskipun paralelisasi dapat mengurangi hal ini sampai batas tertentu, Random Forest mungkin masih lebih lambat dalam melatih dibandingkan dengan model yang lebih sederhana, seperti regresi linear atau regresi logistik.
Persyaratan Memori
Random Forest memerlukan lebih banyak memori dibandingkan dengan decision tree tunggal, karena mereka perlu menyimpan informasi tentang beberapa pohon dalam ensemble.
Tidak Ideal untuk Prediksi Real-time
Karena kompleksitas komputasi dalam menggabungkan prediksi dari beberapa decision tree, Random Forest mungkin bukan pilihan terbaik untuk aplikasi yang membutuhkan prediksi real-time.

Aplikasi Random Forest

Random Forest adalah teknik pembelajaran mesin yang serbaguna dan kuat dengan berbagai aplikasi di berbagai domain. Pada bab ini, saya akan membahas beberapa kasus penggunaan umum untuk Random Forest, mengilustrasikan efektivitas mereka dalam tugas dan industri yang berbeda.