Pola pengiriman model

Teknologi kontainer telah membuatnya umum untuk menjalankan server menggunakan gambar kontainer server. Namun, manajemen dan versi gambar server dan file model inferensi adalah masalah penting untuk dipertimbangkan.

Ada dua cara utama untuk menanamkan model dalam server dan menjalankannya sebagai server inferensi.

• Pola model-dalam-gambar (model terkandung dalam gambar)
• Pola model-load (model dimuat dari server)

Pola Model-dalam-gambar

Dalam pola Model-in-image, file model dimasukkan ke dalam image dari reasoner dan dibangun. Dengan menyertakan model dalam gambar, dimungkinkan untuk menghasilkan reasoner yang didedikasikan untuk model itu.

• Pro
  • Menjaga gambar server dan versi file model tetap sama
• Kontra
  • Perlu mendefinisikan jalur pipa dari pelatihan model ke pembuatan gambar server
  • Peningkatan ukuran gambar server inferensi dan waktu yang lebih lama untuk mendapatkan gambar yang dimuat dan berjalan
• Kasus penggunaan
  • Ketika Anda ingin mencocokkan gambar server dan versi model inferensi

Pola model-load

Dalam pola model-load, server inferensi dimulai, kemudian file model dimuat, dan server inferensi dimasukkan ke dalam produksi. Gambar server dan file model inferensi dikelola secara terpisah.

• Pro
  • Dapat memisahkan versi gambar server dari versi file model
  • Peningkatan penerapan gambar server
  • Gambar server akan menjadi ringan
• Kontra
  • Penerapan server dan pemuatan file model dilakukan secara berurutan, sehingga mungkin membutuhkan waktu lebih lama untuk memulai server inferensi
  • Memerlukan versi gambar server dan file model
• Kasus penggunaan
  • Ketika versi file model diperbarui lebih sering daripada versi image server
  • Ketika menjalankan beberapa jenis model inferensi pada image server yang sama

Referensi

https://github.com/mercari/ml-system-design-pattern/tree/master/Training-patterns