A maioria dos recursos de IA que você vê em apps envia seus dados a um servidor e espera uma resposta. Mas um número crescente de modelos é pequeno o bastante para rodar no próprio celular. Para um app HTML, isso significa recursos de IA que funcionam offline, não custam nada por uso e mantêm os dados no dispositivo.
Como funciona
Bibliotecas como Transformers.js e ONNX Runtime Web rodam modelos no mecanismo do navegador usando WebAssembly. O WebAssembly é compatível com o Android System WebView, que alimenta os apps criados com o Free HTML to APK, então o mesmo código que roda no Chrome do seu notebook pode rodar dentro do seu app.
A aceleração por GPU mais rápida via WebGPU está chegando, mas o suporte no Android WebView ainda é irregular entre dispositivos. Planeje com WebAssembly e trate a velocidade da GPU como um bônus.
O que roda bem em um celular hoje
- Classificação de texto, como análise de sentimento ou detecção de spam. Modelos pequenos, respostas rápidas.
- Embeddings e busca semântica sobre o conteúdo do próprio app, para buscas do tipo “encontrar notas sobre…”.
- Classificação de imagens e detecção simples de objetos em fotos que o usuário escolhe.
- Fala para texto com modelos compactos, para trechos curtos.
- Tradução entre alguns pares de idiomas com modelos pequenos dedicados.
O que ainda pertence à nuvem
Modelos de chat grandes que escrevem respostas longas ainda são grandes e lentos demais para a maioria dos celulares. Para um assistente geral, use um servidor com um proxy adequado, como explicado no nosso guia de chatbot.
Dicas práticas
- O tamanho do modelo é o tamanho do app. Um modelo embutido no app deixa o APK maior. Modelos de dezenas de megabytes tudo bem. Centenas de megabytes não, para a maioria dos usuários.
- Baixe no primeiro uso se o modelo for grande, e guarde em cache, em vez de embuti-lo. Diga ao usuário o tamanho do download.
- Rode em um Web Worker para que a interface continue fluida enquanto o modelo pensa.
- Teste em um celular barato. Um top de linha esconde problemas que um aparelho simples mostra de imediato.
Por que se importar
A IA no dispositivo é privada por natureza, porque nada sai do celular. Funciona dentro de um avião. E não tem custo por requisição, o que importa muito se seu app ficar popular. Para muitos recursos pequenos, essa combinação vence uma API na nuvem.