Yapay zekâyı telefonun kendisinde çalıştırma: HTML uygulamasında neler işe yarar

Uygulamalarda gördüğünüz yapay zekâ özelliklerinin çoğu verinizi bir sunucuya gönderip yanıt bekler. Ancak giderek artan sayıda model, telefonun kendisinde çalışacak kadar küçük. Bir HTML uygulaması için bu, çevrimdışı çalışan, kullanım başına maliyeti olmayan ve veriyi cihazda tutan yapay zekâ özellikleri demek.

Nasıl çalışır

Transformers.js ve ONNX Runtime Web gibi kütüphaneler modelleri WebAssembly kullanarak tarayıcı motorunda çalıştırır. WebAssembly, Free HTML to APK ile yapılan uygulamalara güç veren Android System WebView'de desteklenir; yani dizüstü bilgisayarınızdaki Chrome'da çalışan aynı kod uygulamanızın içinde de çalışabilir.

WebGPU ile daha hızlı GPU hızlandırma geliyor, ancak Android WebView'deki destek cihazlar arasında hâlâ eşit değil. WebAssembly için plan yapın ve GPU hızını bir bonus sayın.

Bugün bir telefonda iyi çalışanlar

• Duygu veya spam algılama gibi metin sınıflandırma. Küçük modeller, hızlı yanıtlar.
• Gömme ve anlamsal arama, "şunlarla ilgili notları bul…" tarzı aramalar için uygulamanın kendi içeriği üzerinde.
• Kullanıcının seçtiği fotoğraflarda görsel sınıflandırma ve basit nesne algılama.
• Kısa kayıtlar için kompakt modellerle konuşmadan metne.
• Küçük özel modellerle birkaç dil çifti arasında çeviri.

Hâlâ buluta ait olanlar

Uzun yanıtlar yazan büyük sohbet modelleri çoğu telefon için hâlâ çok büyük ve çok yavaş. Genel bir asistan için sohbet botu rehberimizde anlatıldığı gibi uygun bir vekil sunucuyla bir sunucu kullanın.

Pratik ipuçları

• Model boyutu uygulama boyutudur. Uygulamanıza paketlenen bir model APK'yı büyütür. Onlarca megabaytlık modeller sorun değildir. Yüzlerce megabayt, çoğu kullanıcı için değildir.
• Model büyükse paketlemek yerine ilk kullanımda indirin ve önbelleğe alın. Kullanıcıya indirmenin ne kadar büyük olduğunu söyleyin.
• Bir Web Worker'da çalıştırın; böylece model düşünürken arayüz akıcı kalır.
• Ucuz bir telefonda test edin. Amiral gemisi bir telefon, bütçe dostu bir cihazın hemen göstereceği sorunları gizler.

Neden uğraşmalı

Cihaz üzerinde yapay zekâ tasarım gereği gizlidir, çünkü hiçbir şey telefondan çıkmaz. Uçakta çalışır. Ve istek başına maliyeti yoktur; uygulamanız popüler olursa bu çok önemlidir. Birçok küçük özellik için bu birleşim bir bulut API'sini yener.