Společnost Google oznámila experiment s integrací velkého jazykového modelu strojového učení do prohlížeče Chrome. Pro přístup k modelu z webových aplikací a prohlížečových rozšíření byl navržen API Prompt, který umožňuje posílat dotazy v přirozeném jazyce, analogicky s chatboty. Očekává se, že integrovaný velký jazykový model v prohlížeči usnadní řešení úloh AI v webových aplikacích a umožní nenutit uživatele starat se o instalaci a správu jazykových modelů.
V prováděném experimentu je zapojena model Gemini Nano, nejkompaktnejší z rodiny Gemini. Je zde také možnost instalace odborných modelů, které rozšiřují základní model o další znalosti, které mohou být potřebné k řešení specifických úloh, a také k implementaci dovedností, jako je strojový překlad a shrnování. Modely běží lokálně na systému uživatele bez přístupu k externím službám.
Používaný Runtime model automaticky využívá dostupné GPU a NPU v systému pro zrychlení práce s modelem nebo přepíná na provádění modelu s použitím CPU. Mezi výhody provozování modelu na systému uživatele patří zachování důvěrnosti zpracovávaných dat, možnost pokračovat v práci v offline režimu při absenci síťového připojení nebo při výskytu problémů s kvalitou spojení, snížení zpoždění při odesílání dotazů a vyloučení závislosti na externích službách.
API Prompt vyvíjené pro interakci s modelem umožňuje provádět nejen nejjednodušší samostatné dotazy v přirozeném jazyce, ale také organizovat využití modelu pro zpracování a klasifikaci dat s ohledem na kontext, zohlednit dříve poslané dotazy v relaci a data, a také použít model k výběru optimálních variant (například je možné požádat o výběr ikony z emoji seznamu pro konkrétní komentář na webu). Dále se plánuje rozvíjet API pro použití v oblasti tvorby obsahu a řešení úloh jako je přeformulování, korektura a oprava gramatiky.
Ve zjednodušené podobě se vyvíjejí dva typy API pro interakci se zabudovaným AI modelem — Task a Exploratory. První poskytuje přístup k funkcím pro řešení konkrétních úkolů, jako je překlad textu z jednoho jazyka do druhého (API Translation) nebo shrnutí hlavních myšlenek textu (API Summarization). Druhý typ je zaměřen na vytváření a testování experimentálních prototypů při vývoji nových Task API. Také se pracuje na API LoRA (Low-Rank Adaptation) pro adaptaci váhových koeficientů základního modelu za účelem zvýšení efektivity řešení konkrétních úkolů.
Přístup k účasti v experimentu je poskytován po vyplnění žádosti. API je v aktivním vývoji a před přijetím konečné verze bude rozšiřováno a měněno na základě zpětné vazby a preferencí uživatelů. Dále se plánuje uspořádat přístupnější testování pomocí režimu Origin Trials, který umožňuje pracovat s experimentálními API z aplikací načtených z localhost nebo 127.0.0.1, nebo po registraci a získání speciálního tokenu, který má omezenou platnost pro konkrétní web. Paralelně s výrobci jiných prohlížečů probíhá práce na standardizaci vyvíjených API.
Zdroj: opennet.ru
