Gratis HTML ke Sebagian besar fitur AI yang Anda lihat di aplikasi mengirim data Anda ke server dan menunggu jawaban. Tetapi semakin banyak model yang cukup kecil untuk berjalan di ponsel itu sendiri. Untuk aplikasi HTML, itu berarti fitur AI yang berfungsi offline, tanpa biaya per penggunaan, dan menjaga data di perangkat.
Cara kerjanya
Pustaka seperti Transformers.js dan ONNX Runtime Web menjalankan model di mesin browser menggunakan WebAssembly. WebAssembly didukung di Android System WebView yang menjalankan aplikasi buatan Free HTML to APK, sehingga kode yang sama yang berjalan di Chrome di laptop Anda dapat berjalan di dalam aplikasi Anda.
Akselerasi GPU yang lebih cepat melalui WebGPU sedang hadir, tetapi dukungan di Android WebView masih belum merata di berbagai perangkat. Rencanakan dengan WebAssembly dan anggap kecepatan GPU sebagai bonus.
Apa yang berjalan baik di ponsel saat ini
- Klasifikasi teks, seperti deteksi sentimen atau spam. Model kecil, jawaban cepat.
- Embedding dan pencarian semantik pada konten aplikasi Anda sendiri, untuk pencarian bergaya "temukan catatan tentang…".
- Klasifikasi gambar dan deteksi objek sederhana pada foto yang dipilih pengguna.
- Ucapan ke teks dengan model ringkas, untuk klip pendek.
- Terjemahan antara beberapa pasangan bahasa dengan model khusus yang kecil.
Apa yang masih menjadi urusan cloud
Model obrolan besar yang menulis jawaban panjang masih terlalu besar dan terlalu lambat untuk sebagian besar ponsel. Untuk asisten umum, gunakan server dengan proxy yang tepat, seperti dijelaskan di panduan chatbot kami.
Tips praktis
- Ukuran model adalah ukuran aplikasi. Model yang disertakan dalam aplikasi membuat APK lebih besar. Model puluhan megabyte tidak masalah. Ratusan megabyte tidak, bagi sebagian besar pengguna.
- Unduh saat pertama digunakan jika model besar, dan simpan di cache, daripada menyertakannya. Beri tahu pengguna seberapa besar unduhannya.
- Jalankan di Web Worker agar antarmuka tetap mulus saat model berpikir.
- Uji di ponsel murah. Ponsel andalan menyembunyikan masalah yang langsung terlihat di perangkat murah.
Mengapa repot
AI di perangkat bersifat privat sejak rancangannya, karena tidak ada yang keluar dari ponsel. Berfungsi di pesawat. Dan tidak ada biaya per permintaan, yang sangat penting jika aplikasi Anda menjadi populer. Untuk banyak fitur kecil, kombinasi itu mengalahkan API cloud.