Ondřej Surý, DNS engineering director at ISC and former creator of the CZ.NIC Labs project developing the Knot DNS server, summarized the experiments using large language models for analyzing, fixing, and modernizing the BIND 9 DNS server codebase, prototyping new projects, and preparing materials for student training. The impressions from using AI boiled down to the conclusion that large language models are well-suited for rapid prototyping, understanding unfamiliar code, and automating simple routine tasks, but when used for more significant tasks, it is questionable whether they save time since a lot of time is spent on task setting, studying, verifying results, and subsequent refinement.
In the first experiment, the AI assistant Claude Code was tasked with detecting issues in the BIND 9 DNS server codebase, focusing on security problems and code modernization. None of the proposed fixes were accepted into the codebase, as Claude generated technically correct but practically useless code. For example, issues such as reserved identifiers and potential integer overflows were noted, which are prevented by the compiler and require no fixes. The experiment was deemed a useless waste of time.
In the second experiment, Ondřej asked Claude to write a telemetry system that integrates with various packages and minimizes metadata leaks. Claude Code prepared prototypes for the client and serverilt, but without a proper understanding of the testing environment and the problems arising during the testing process. Additionally, Google Gemini and ChatGPT were utilized for verification, and each AI model found errors in the results of the other models.
Prototüübi kiireks loomiseks osutus meetod sobivaks, kuid Ondřej märkis, et töö käigus tundis ta end roboti-peremehe sekretärina. Alguses andis kiire prototüübi saamine lootust, kuid lõpuks tekkis tunne, et kogu AI abil arendamise protsess kestis kauem kui koodi käsitsi nullist kirjutamine. Palju aega kulus AI pakutud lahenduse lahtiharutamisele, mõttetute muudatuste kontrollimisele ja ümbertegemisele — prototüüp tuli ümber teha, kuna AI järel jäi kood keskpäraseks ning sisaldas suurt hulka korduvaid konstruktsioone.
Kolmas katse oli laadida Rusti keeles koormuse tasakaalustajat, kasutades crate-pakette Domain ja Tokio. Claude Code suutis genereerida soovitud töö prototüübi, kuid Ondřej ei tunna Rusti ja kaasatud raamatukogusid piisavalt hästi, et hinnata tehtud töö kvaliteeti.
Neljas katse oli seotud Google Gemini abimaterjalide, testide ja küsimuste ettevalmistamisega loengukursusele, mida Ondřej ülikoolis õpetab. See katse tunnistati kõige õnnestunumaks, kuigi esines probleeme — AI mõtles välja mitteeksisteeriva tšehhi sõna krüptograafia termini jaoks. Samuti märgiti, et temani jõuab palju üliõpilaste töid, mis on genereeritud suurte keelemudelite poolt ja need tuleb tagasi saata, kuna need ei vasta ülikoolitasemele ja sisaldavad vale viiteid.
Lisaks on veel üks katse, mille viis läbi Cloudflare'i inseneritegevuse direktor. Kasutades mudelit Claude Code, kulutas ta umbes nädala aega ja 1100 dollarit tokenite peale, et valmistada ette alternatiivne API Next.js raamistiku teostus, mis on vormindatud Vite tööriistakomplekti pluginana. Projekt sai nimeks vinext ja avaldati GitHubis. Uus teostus on neli korda kiirem kui Next.js pakkumine Turbopackiga ja genereerib front-endide jaoks bundlid, mis võtavad 57% vähem ruumi.
Projekt rakendab 94% kuuest alusest Next.js API-st ja seda saab kasutada Next.js läbipaistva asendajana ning projektide juurutamiseks Cloudflare Workers platvormil ilma täiendavate kihtide, näiteks OpenNext, kasutamiseta ja ilma Node.js-iga seotuse. Vinexti peamine eesmärk on pakkuda võimalust kasutada Next.js API-d platvormidel, mis ei ole Vercel, ilma et oleks vaja juurutada oma serverit. Hetkel toetatakse ainult Cloudflare Workersit ning Vercelile on prototüüp, kuid tulevikus oodatakse ka toetust muudele serveriteta arvutusteenustele, millega Vite töötab, sealhulgas Netlify ja AWS Lambda.
Allikas: opennet.ru
