اجرای هوش مصنوعی روی خود گوشی: چه چیزی در اپلیکیشن HTML جواب می‌دهد

بیشتر ویژگی‌های هوش مصنوعی که در اپلیکیشن‌ها می‌بینید داده‌ها را به سرور می‌فرستند و منتظر پاسخ می‌مانند. اما تعداد رو به رشدی از مدل‌ها آن‌قدر کوچک‌اند که روی خود گوشی اجرا شوند. برای یک اپلیکیشن HTML یعنی ویژگی‌های هوش مصنوعی که آفلاین کار می‌کنند، هزینه‌ای برای هر استفاده ندارند و داده‌ها را روی دستگاه نگه می‌دارند.

چطور کار می‌کند

کتابخانه‌هایی مثل Transformers.js و ONNX Runtime Web مدل‌ها را با WebAssembly در موتور مرورگر اجرا می‌کنند. WebAssembly در Android System WebView که اپلیکیشن‌های ساخته‌شده با Free HTML to APK را اجرا می‌کند پشتیبانی می‌شود، پس همان کدی که در Chrome روی لپ‌تاپ شما اجرا می‌شود می‌تواند داخل اپلیکیشن شما اجرا شود.

شتاب‌دهی سریع‌تر GPU از طریق WebGPU در راه است، اما پشتیبانی آن در Android WebView هنوز بین دستگاه‌ها یکدست نیست. برای WebAssembly برنامه‌ریزی کنید و سرعت GPU را یک امتیاز بدانید.

چه چیزی امروز روی گوشی خوب اجرا می‌شود

• طبقه‌بندی متن، مثل تشخیص احساس یا هرزنامه. مدل‌های کوچک، پاسخ‌های سریع.
• Embeddings و جستجوی معنایی روی محتوای خود اپلیکیشن، برای جستجوی «یادداشت‌های مربوط به…».
• طبقه‌بندی تصویر و تشخیص ساده اشیا روی عکس‌هایی که کاربر انتخاب می‌کند.
• تبدیل گفتار به متن با مدل‌های فشرده، برای کلیپ‌های کوتاه.
• ترجمه بین چند جفت زبان با مدل‌های کوچک اختصاصی.

چه چیزی هنوز متعلق به ابر است

مدل‌های چت بزرگی که پاسخ‌های طولانی می‌نویسند هنوز برای بیشتر گوشی‌ها بیش از حد بزرگ و کندند. برای یک دستیار عمومی از یک سرور با پروکسی مناسب استفاده کنید، همان‌طور که در راهنمای چت‌بات ما توضیح داده شده.

نکات عملی

• اندازه مدل همان اندازه اپلیکیشن است. مدلی که در اپلیکیشن بسته‌بندی شود APK را بزرگ‌تر می‌کند. مدل‌های چند ده مگابایتی اشکال ندارند. صدها مگابایت برای بیشتر کاربران مناسب نیست.
• در اولین استفاده دانلود کنید اگر مدل بزرگ است، و به‌جای بسته‌بندی در اپلیکیشن، آن را کش کنید. به کاربر بگویید دانلود چقدر حجم دارد.
• آن را در یک Web Worker اجرا کنید تا وقتی مدل فکر می‌کند رابط روان بماند.
• روی یک گوشی ارزان آزمایش کنید. یک گوشی پرچم‌دار مشکلاتی را پنهان می‌کند که یک دستگاه ارزان فوراً نشان می‌دهد.

چرا زحمتش را بکشیم

هوش مصنوعی روی دستگاه از اساس خصوصی است، چون چیزی از گوشی بیرون نمی‌رود. در هواپیما هم کار می‌کند. و هزینه‌ای برای هر درخواست ندارد، که اگر اپلیکیشن شما محبوب شود خیلی مهم است. برای بسیاری از ویژگی‌های کوچک، این ترکیب از یک API ابری بهتر است.