La mayoría de las funciones de IA que ves en las apps envían tus datos a un servidor y esperan una respuesta. Pero un número creciente de modelos es lo bastante pequeño como para ejecutarse en el propio teléfono. Para una app HTML, eso significa funciones de IA que funcionan sin conexión, no cuestan nada por uso y mantienen los datos en el dispositivo.
Cómo funciona
Bibliotecas como Transformers.js y ONNX Runtime Web ejecutan modelos en el motor del navegador usando WebAssembly. WebAssembly es compatible con el Android System WebView que impulsa las apps creadas con Free HTML to APK, así que el mismo código que corre en Chrome en tu portátil puede correr dentro de tu app.
La aceleración por GPU más rápida mediante WebGPU está llegando, pero la compatibilidad en Android WebView sigue siendo desigual entre dispositivos. Planifica con WebAssembly y considera la velocidad de GPU como un extra.
Lo que funciona bien hoy en un teléfono
- Clasificación de texto, como análisis de sentimiento o detección de spam. Modelos pequeños, respuestas rápidas.
- Embeddings y búsqueda semántica sobre el propio contenido de tu app, para búsquedas del tipo «encuentra notas sobre…».
- Clasificación de imágenes y detección simple de objetos en fotos que elige el usuario.
- Voz a texto con modelos compactos, para clips cortos.
- Traducción entre unos pocos pares de idiomas con pequeños modelos dedicados.
Lo que sigue perteneciendo a la nube
Los modelos de chat grandes que escriben respuestas largas siguen siendo demasiado grandes y lentos para la mayoría de los teléfonos. Para un asistente general, usa un servidor con un proxy adecuado, como se explica en nuestra guía de chatbots.
Consejos prácticos
- El tamaño del modelo es tamaño de app. Un modelo incluido en tu app hace más grande el APK. Los modelos de decenas de megabytes están bien. Los de cientos de megabytes no, para la mayoría de los usuarios.
- Descárgalo en el primer uso si el modelo es grande, y guárdalo en caché, en lugar de incluirlo. Dile al usuario cuánto pesa la descarga.
- Ejecútalo en un Web Worker para que la interfaz siga fluida mientras el modelo piensa.
- Prueba en un teléfono barato. Uno de gama alta esconde problemas que un dispositivo económico mostrará de inmediato.
Por qué molestarse
La IA en el dispositivo es privada por diseño, porque nada sale del teléfono. Funciona en un avión. Y no tiene coste por petición, lo que importa mucho si tu app se vuelve popular. Para muchas funciones pequeñas, esa combinación supera a una API en la nube.