Pola QA untuk sistem ML

Ada berbagai cara untuk melakukan QA untuk sistem pembelajaran mesin. Dalam artikel ini, saya memperkenalkan pola QA berikut untuk sistem ML seperti yang dijelaskan dalam GitHub Mercari.

• Pola uji A/B bayangan
• Pola Uji A/B online

Pola Uji A/B bayangan

Dalam Pola Uji AB bayangan, beberapa server inferensi dijalankan dan server proxy mengirimkan permintaan ke semua model inferensi, tetapi hanya model saat ini yang mengembalikan hasil inferensi ke klien. Hal ini memungkinkan untuk menguji model inferensi baru tanpa mempengaruhi layanan produksi. Di sisi lain, hasil inferensi model baru tidak dikembalikan ke klien, sehingga sulit untuk mengukur nilai bisnis akhir.

• Pros
  • Hasil inferensi, kecepatan dan ketersediaan model baru dapat diperiksa dalam layanan produksi
  • Hasil inferensi dari beberapa model dapat dikumpulkan dan dianalisis
  • Tidak mempengaruhi layanan produksi.
• Kontra
  • Sulit untuk mengukur nilai bisnis akhir karena respons pengguna akhir tidak tersedia
• Kasus penggunaan
  • Ketika Anda ingin memastikan bahwa model inferensi baru dapat disimpulkan pada data produksi tanpa masalah
  • Ketika Anda ingin memverifikasi bahwa server inferensi baru dapat menangani beban akses produksi

Pola Uji A/B online

Dalam Pola Uji AB online, beberapa server inferensi dijalankan, dengan mayoritas akses dialokasikan ke server saat ini, dan akses secara bertahap mengalir ke server baru. Penyesuaian jumlah akses dilakukan oleh server proxy. Pola uji ini memiliki dampak bisnis karena model baru terhubung ke sistem produksi dan hasil inferensi dikembalikan ke klien.

• Pro
  • Hasil inferensi, kecepatan dan ketersediaan model baru dapat diperiksa dalam layanan produksi
  • Mengumpulkan dan menganalisis hasil inferensi dari beberapa model
  • Melihat reaksi pengguna akhir.
• Kontra
  • Model baru mungkin memiliki dampak bisnis negatif
• Kasus penggunaan
  • Ketika Anda ingin memastikan bahwa model inferensi baru dapat disimpulkan pada data produksi tanpa masalah
  • Ketika Anda ingin memverifikasi bahwa server inferensi baru dapat menangani beban akses produksi
  • Ketika Anda ingin mengukur nilai bisnis dari beberapa model inferensi secara online

Referensi

https://github.com/mercari/ml-system-design-pattern/tree/master/QA-patterns