फ़ोन पर ही AI चलाना: HTML ऐप में क्या काम करता है

ऐप में दिखने वाले ज़्यादातर AI फ़ीचर आपका डेटा सर्वर को भेजते हैं और जवाब का इंतज़ार करते हैं। लेकिन मॉडलों की बढ़ती संख्या इतनी छोटी है कि फ़ोन पर ही चल सकती है। HTML ऐप के लिए इसका मतलब है ऐसे AI फ़ीचर जो ऑफ़लाइन चलें, हर इस्तेमाल पर कुछ खर्च न करें और डेटा डिवाइस पर रखें।

यह कैसे काम करता है

Transformers.js और ONNX Runtime Web जैसी लाइब्रेरी WebAssembly के ज़रिए ब्राउज़र इंजन में मॉडल चलाती हैं। WebAssembly उस Android System WebView में सपोर्टेड है जो Free HTML to APK से बने ऐप को चलाता है, इसलिए वही कोड जो आपके लैपटॉप पर Chrome में चलता है, आपके ऐप के अंदर भी चल सकता है।

WebGPU के ज़रिए तेज़ GPU एक्सेलरेशन आ रहा है, लेकिन Android WebView में सपोर्ट अभी अलग-अलग डिवाइस पर असमान है। WebAssembly के हिसाब से योजना बनाएँ और GPU की गति को बोनस मानें।

आज फ़ोन पर क्या अच्छे से चलता है

• टेक्स्ट क्लासिफ़िकेशन, जैसे सेंटिमेंट या स्पैम की पहचान। छोटे मॉडल, तेज़ जवाब।
• एम्बेडिंग और सिमैंटिक सर्च आपके ऐप के अपने कंटेंट पर, "…के बारे में नोट्स खोजो" जैसी खोज के लिए।
• इमेज क्लासिफ़िकेशन और यूज़र की चुनी फ़ोटो पर सरल ऑब्जेक्ट डिटेक्शन।
• स्पीच टू टेक्स्ट छोटी क्लिप के लिए कॉम्पैक्ट मॉडल के साथ।
• अनुवाद कुछ भाषा जोड़ियों के बीच छोटे समर्पित मॉडल के साथ।

क्या अब भी क्लाउड में रहना चाहिए

लंबे जवाब लिखने वाले बड़े चैट मॉडल अब भी ज़्यादातर फ़ोन के लिए बहुत बड़े और बहुत धीमे हैं। सामान्य असिस्टेंट के लिए, हमारी चैटबॉट गाइड में बताए अनुसार, सही प्रॉक्सी के साथ सर्वर इस्तेमाल करें.

व्यावहारिक सुझाव

• मॉडल का आकार ही ऐप का आकार है। आपके ऐप में बंडल किया मॉडल APK को बड़ा बनाता है। दसियों मेगाबाइट वाले मॉडल ठीक हैं। सैकड़ों मेगाबाइट ज़्यादातर यूज़र के लिए ठीक नहीं।
• पहले इस्तेमाल पर डाउनलोड करें अगर मॉडल बड़ा है, और उसे बंडल करने के बजाय कैश करें। यूज़र को बताएँ कि डाउनलोड कितना बड़ा है।
• इसे Web Worker में चलाएँ ताकि मॉडल के सोचते समय इंटरफ़ेस सहज रहे।
• सस्ते फ़ोन पर टेस्ट करें। फ़्लैगशिप वे समस्याएँ छिपा लेता है जो बजट डिवाइस तुरंत दिखा देगा।

यह सब क्यों करें

डिवाइस पर चलने वाला AI डिज़ाइन से ही निजी है, क्योंकि कुछ भी फ़ोन से बाहर नहीं जाता। यह हवाई जहाज़ में भी चलता है। और इसमें प्रति रिक्वेस्ट कोई लागत नहीं, जो ऐप लोकप्रिय होने पर बहुत मायने रखती है। कई छोटे फ़ीचर के लिए, यह मेल क्लाउड API से बेहतर है।