Ondřej Surý, riaditeľ inžinierstva DNS v organizácii ISC, ktorý predtým vytvoril projekt CZ.NIC Labs rozvíjajúci DNS server Knot, zhrnul výsledky experimentov s využitím veľkých jazykových modelov na analýzu, opravu a modernizáciu kódovej základne DNS servera BIND 9, tvorbu prototypov nových projektov a prípravu materiálov pre vzdelávanie študentov. Skúsenosti s používaním AI sa zúžili na to, že veľké jazykové modely sú vhodné na rýchle vytváranie prototypov, pochopenie neznámeho kódu a automatizáciu jednoduchých rutinných úloh, avšak pri ich použití na riešenie veľkých úloh je pochybné, že šetria čas, keďže veľa času sa míňa na stanovenie úlohy, štúdium a overenie výsledku a následné úpravy.
V prvom experimente bol AI asistentovi Claude Code zadaný úkol odhalenia problémov v kódovej základni DNS servera BIND 9, zameriavajúc sa na problémy s bezpečnosťou a modernizáciu kódu. Žiadne z navrhnutých opráv nebolo prijaté do kódovej základne, pretože Claude vygeneroval technicky správny, ale prakticky bezcenný kód. Napríklad ako problémy boli označené rezervované identifikátory a potenciálne pretečenia celočíselných typov, ktoré sú kompilátorom predchádzané a nevyžadujú opravy. Experiment bol vyhodnotený ako zbytočná strata času.
V druhom experimente Ondřej požiadal Claude, aby napísal systém telemetrie, integrovateľný s rôznymi balíkmi a minimalizujúci úniky metadát. Claude Code pripravil prototypy klienta a servera, avšak bez náležitého pochopenia prostredia a problémov, ktoré sa objavovali počas testovania. Na overenie boli navyše zapojené Google Gemini a ChatGPT, pričom každý model AI našiel chyby vo výsledkoch práce ostatných modelov.
Pre rýchle vytvorenie prototypu sa táto metóda ukázala byť užitočná, ale Ondřej si všimol, že pri práci sa cítil ako tajomník robota-pána. Spočiatku rychlé získanie prototypu vzbudzovalo optimizmus, no na konci prišlo k pocitu, že celý proces vývoja pomocou AI trval viac času, ako by trvalo napísať kód ručne od nuly. Veľa času bolo stráveného rozanalyzovaním riešení navrhnutých AI, kontrolovaním zbytočných zmien a prepracovaním - prototyp musel byť prerobený, pretože kvalita kódu po použití AI bola priemerná a kód obsahoval značný počet opakujúcich sa konštrukcií.
Tretím experimentom bola generácia vyvažovača záťaže v jazyku Rust s využitím crate balíkov Domain a Tokio. Claude Code sa podarilo vygenerovať požadovaný funkčný prototyp, ale Ondřej nie je dostatočne oboznámený s Rustom a zúčastnenými knižnicami, aby mohol posúdiť kvalitu vykonanej práce.
Štvrtý experiment bol spojený s prípravou v Google Gemini doplnkových materiálov, testov a otázok k prednáškam, ktoré Ondřej prednáša na univerzite. Tento experiment bol považovaný za najúspešnejší, hoci sa neobišiel bez problémov - AI vymyslelo neexistujúce české slovo pre termín v kryptografii. Takisto bolo zaznamenané množstvo študentských prác, generovaných veľkými jazykovými modelmi, ktoré sa musia vracať na prerobenie kvôli nezhode s univerzitnými štandardmi a odkazom na nesprávne zdroje.
Ďalší experiment môžeme spomenúť, ktorý uskutočnil riaditeľ inžinierstva spoločnosti Cloudflare. S pomocou modelu Claude Code, strávil približne týždeň a 1100 dolárov na tokenoch, podarilo sa mu pripraviť alternatívnu implementáciu API frameworku Next.js, prezentovanú ako plugin pre nástroj Vite. Projekt bol nazvaný vinext a publikovaný na GitHub. Nová implementácia je štyrikrát rýchlejšia ako zostavenie Next.js s použitím Turbopack a vytvára balíčky pre frontend, ktoré zaberajú o 57% menej miesta.
Projekt realizuje 94 % z šestnástich základných API Next.js a môže sa používať ako transparentná náhrada Next.js a nasadenia projektov na platforme Cloudflare Workers bez použitia dodatočných vrstiev, ako je OpenNext, a bez väzby na Node.js. Kľúčovým označením vinext je poskytnutie možnosti používať API Next.js na platformách odlišných od Vercel a bez nasadenia vlastného servera. V súčasnosti je podporovaná iba Cloudflare Workers a existuje prototyp pre Vercel, no v budúcnosti sa očakáva podpora aj pre iné platformy serverless výpočtov, s ktorými môže pracovať Vite, vrátane Netlify a AWS Lambda.
Zdroj: opennet.ru
