Free HTML to La plupart des fonctions d'IA que vous voyez dans les applications envoient vos données à un serveur et attendent une réponse. Mais un nombre croissant de modèles sont assez petits pour tourner sur le téléphone lui-même. Pour une application HTML, cela signifie des fonctions d'IA qui marchent hors ligne, ne coûtent rien à l'usage et gardent les données sur l'appareil.
Comment ça marche
Des bibliothèques comme Transformers.js et ONNX Runtime Web exécutent des modèles dans le moteur du navigateur grâce à WebAssembly. WebAssembly est pris en charge dans l'Android System WebView qui fait tourner les applications créées avec Free HTML to APK : le même code qui tourne dans Chrome sur votre ordinateur peut donc tourner dans votre application.
L'accélération GPU plus rapide via WebGPU arrive, mais sa prise en charge dans Android WebView reste inégale selon les appareils. Prévoyez WebAssembly et considérez la vitesse GPU comme un bonus.
Ce qui tourne bien sur un téléphone aujourd'hui
- Classification de texte, comme l'analyse de sentiment ou la détection de spam. Petits modèles, réponses rapides.
- Embeddings et recherche sémantique sur le contenu propre à votre application, pour une recherche du type « trouver les notes sur… ».
- Classification d'images et détection d'objets simple sur des photos choisies par l'utilisateur.
- Reconnaissance vocale avec des modèles compacts, pour de courts extraits.
- Traduction entre quelques paires de langues avec de petits modèles dédiés.
Ce qui reste dans le cloud
Les grands modèles de chat qui écrivent de longues réponses sont encore trop gros et trop lents pour la plupart des téléphones. Pour un assistant généraliste, utilisez un serveur avec un vrai proxy, comme expliqué dans notre guide du chatbot.
Conseils pratiques
- La taille du modèle, c'est la taille de l'application. Un modèle inclus dans votre application alourdit l'APK. Des modèles de quelques dizaines de mégaoctets conviennent. Des centaines de mégaoctets, non, pour la plupart des utilisateurs.
- Téléchargez à la première utilisation si le modèle est gros, et mettez-le en cache plutôt que de l'inclure. Dites à l'utilisateur la taille du téléchargement.
- Exécutez-le dans un Web Worker pour que l'interface reste fluide pendant que le modèle réfléchit.
- Testez sur un téléphone bon marché. Un haut de gamme masque des problèmes qu'un appareil d'entrée de gamme révèle immédiatement.
Pourquoi s'en soucier
L'IA sur l'appareil est confidentielle par conception, puisque rien ne quitte le téléphone. Elle marche dans un avion. Et elle n'a aucun coût par requête, ce qui compte beaucoup si votre application devient populaire. Pour beaucoup de petites fonctions, cette combinaison bat une API cloud.