Pendahuluan

Large Language Models (LLM) telah mendapatkan banyak perhatian dalam beberapa tahun terakhir. Salah satu tantangan dari LLM adalah pembuatan informasi yang tidak akurat, yang dikenal sebagai "halusinasi."

Salah satu pendekatan untuk mengatasi halusinasi adalah dengan memperluas ukuran konteks. Ukuran konteks merujuk pada jumlah teks yang dapat diproses oleh model sekaligus. Perusahaan seperti Anthropic dan OpenAI sedang melakukan penelitian untuk meningkatkan kapasitas konteks yang dapat diberikan kepada LLM.

Kekurangan dari Konteks yang Berlebihan

Memperluas ukuran konteks memungkinkan model untuk memproses lebih banyak informasi sekaligus. Secara teoritis, hal ini dapat memungkinkan model untuk menangani masalah yang lebih kompleks.

Namun, meningkatkan ukuran konteks datang dengan tantangan seperti:

• Menurunnya Kualitas Respons
  Dengan ukuran konteks yang lebih besar, LLM perlu memproses lebih banyak informasi. Namun, kelimpahan informasi ini mungkin mengganggu kemampuan model untuk mengekstrak informasi yang relevan. Terutama, ada risiko yang meningkat bahwa model menjadi bingung oleh informasi yang tidak relevan, yang dapat mengakibatkan pembuatan jawaban yang tidak akurat, yaitu risiko halusinasi.

• Peningkatan Komputasi dan Biaya
  Bersamaan dengan peningkatan ukuran konteks datang peningkatan persyaratan komputasi. Ini berarti bahwa jika penyedia LLM mengenakan biaya per token, biaya per permintaan akan meningkat dengan ukuran konteks yang lebih besar. Dengan kata lain, memproses lebih banyak token memerlukan lebih banyak sumber daya dan menimbulkan biaya yang lebih tinggi.

Pengenalan tentang Database Vektor

Sebagai pendekatan baru dalam menyediakan konteks untuk LLM, konsep Database Vektor mendapatkan perhatian. Dengan memanfaatkan Database Vektor, informasi yang tidak perlu dapat difilter, dan hanya informasi yang relevan yang diproses. Ini menghasilkan efisiensi yang ditingkatkan per token dan secara keseluruhan meningkatkan akurasi dan efisiensi model.

Menurut sebuah artikel Pinecone, dengan hanya menyertakan informasi yang relevan dalam konteks, mereka mampu mempertahankan akurasi 95% sambil mengurangi jumlah token sebesar 25% saat memproses dokumen keseluruhan. Ini berarti pengurangan biaya operasional sebesar 75%.

Referensi

https://www.pinecone.io/blog/why-use-retrieval-instead-of-larger-context/