Ondřej Surý, DNS inseneri ISC-s, kes on varasemalt loonud CZ.NIC Labs projekt, mis arendab DNS-serverit Knot, tegi kokkuvõtte suurte keelemudelite kasutamise katsetest, et analüüsida, parandada ja moderniseerida DNS-serveri BIND 9 koodibaasi, luua prototüüpe uusi projekte ning valmistada ette materjale üliõpilaste õpetamiseks. AI kasutamise kogemused näitasid, et suured keelemudlid sobivad hästi kiire prototüüpimise, tundmatute koodide mõistmise ja lihtsate rutiinsete ülesannete automatiseerimise jaoks. Kuid nende kasutamine suuremate ülesannete lahendamiseks ei pruugi aega kokku hoida, kuna palju aega kulub ülesande määratlemisele, uurimisele ja tulemuse kontrollimisele ning hilisematele täiustustele.
Esimeses eksperimendis anti AI-assistendi Claude Code ülesanne avastada vigu DNS-serveri BIND 9 koodibaasis, keskendudes turbeprobleemidele ja koodi moderniseerimisele. Ükski pakutud parandustest ei leidnud teed koodibaasi, kuna Claude genereeris tehniliselt korrektse, kuid praktikaliselt kasutu koodi. Näiteks märgiti probleemidena reserveeritud identifikaatoreid ja potentsiaalseid täisarvude ületäitumisi, mida kompilaator ise vältis ja mis ei vajanud parandamist. Eksperiment kuulutati ajaraiskamiseks.
Teises eksperimendis palus Ondřej Claude'il kirjutada telemeetriasüsteem, mis integreerub erinevate paketiga ja minimeerib metaandmete leket. Claude Code valmistas prototüübid kliendist ja serverile, kuid ilma adekvaatse arusaamiseta keskkonnast ja testimise käigus esilekerkivatest probleemidest. Kontrollimiseks kaasati ka Google Gemini ja ChatGPT, ning iga AI mudel leidis vigu teiste mudelite tulemustes.
Kiire prototüüpimise osas osutus meetod kasulikuks, kuid Ondřej märkis, et töötamise ajal tundis ta end nagu roboti sekretär. Esialgu kindel prototüübi kiire saamine tekitas optimismi, kuid lõpuks jäi tunne, et kogu AI kaudu arendamise protsess võttis rohkem aega kui koodi käsitsi kirjutamine nullist. Palju aega kulus AI poolt pakutud lahenduse analüüsimisele, mõttetute muudatuste kontrollimisele ja ümbertegemisele — prototüüp tuli üle kujundada, kuna AI tulemuslikkus oli keskpärane ja koodis oli palju korduvaid struktuure.
Kolmas eksperiment hõlmas koormuste tasakaalustaja genereerimist Rusti keeles, kasutades crate-pakette Domain ja Tokio. Claude Code suutis genereerida nõutud töötava prototüübi, kuid Ondřej ei tunne Rusti ja kasutatud teeke piisavalt hästi, et hinnata töö kvaliteeti.
Neljandaks eksperimendiks oli Google Geminis abimaterjalide, testide ja küsimuste ettevalmistamine loengusarjaks, mida Ondřej ülikoolis õpetab. See katse tunnistati kõige edukamaks, kuigi esines ka probleeme — AI genereeris ühe mitteeksisteeriva tšehhi sõna krüptograafia mõiste jaoks. Samuti märgiti, et ta sai palju üliõpilaste töid, mis olid genereeritud suurte keelemudelite poolt, ja need tuli ümber teha sobimatu taseme ning valeallikate viidete tõttu.
Lisaks võib märkida veel ühe eksperimendi, mille viis läbi Cloudflare'i insener. Kasutades mudelit Claude Code, kulutas ta umbes nädala aega ja 1100 dollarit tokenitele, et valmistada ette alternatiivne API Next.js raamistik, mis on vormistatud plugina Vite tööriistade komplekti. Projekt sai nimeks vinext ja on avaldatud GitHubis. Uus teostus on neli korda kiirem kui Next.js kogumine Turbopakiga ja loob frontendi bundle'id, mis võtavad 57% vähem ruumi.
Projekt rakendab 94% järgmise kuue põhise API Next.js ja seda saab kasutada Next.js-i läbipaistva asendajana ning projektide käitamiseks Cloudflare Workers platvormil, ilma täiendavate kihtideta, nagu OpenNext ja ilma Node.js-i sidumiseta. Vinexti peamine eesmärk on võimaldada Next.js API kasutamist platvormidel, mis ei ole Vercel, ilma enda serveri käitamiseta. Praeguses versioonis toetatakse ainult Cloudflare Workers'i ja on olemas prototüüp Vercel-el, kuid tulevikus oodatakse ka toe pakkumist teistele serveripõhistele teenustele, millega Vite saab töötada, sealhulgas Netlify ja AWS Lambda.
Allikas: opennet.ru
