Эксперименты с использованием AI для улучшения кода BIND 9 и переработки Next.js

Ондржей Сури (Ondřej Surý), директор по инжинирингу DNS в организации ISC, в прошлом создавший проект CZ.NIC Labs, развивающий DNS-сервер Knot, подвёл итоги экспериментов по использованию големи езикови модели за анализ, коригиране и модернизация на кодовата база на DNS-сервер BIND 9, създаване на прототипи на нови проекти и подготовка на материали за обучение на студенти. Впечатленията от използването на AI показват, че големите езикови модели са подходящи за бързо създаване на прототипи, разбиране на непознат код и автоматизация на прости рутинни задачи, но при решаване на по-големи проблеми е съмнително, че спестяват време, тъй като много време се изразходва за поставяне на задачата, изучаване и проверка на резултата, както и последваща доработка.

В първия експеримент на AI-асистента Claude Code беше поставена задача за откриване на проблеми в кодовата база на DNS-сервера BIND 9, като акцентът беше поставен върху проблемите със сигурността и модернизацията на кода. Нито едно от предложените корекции не беше прието в кодовата база, тъй като Claude генерира технически коректен, но практически безполезен код. Например, като проблеми бяха отбелязани резервирани идентификатори и потенциални преливания на цели числа, предотвратявани от компилатора и не изискващи корекция. Експериментът беше признат за безполезна загуба на време.

Във втория експеримент Ондржей помоли Claude да напише система за телеметрия, интегрираща се с различни пакети и минимизираща изтичането на метаданни. Claude Code подготви прототипи на клиента и сървър, но без подходящо разбиране на средата и възникващите в процеса на тестване проблеми. Допълнително за проверка бяха ангажирани Google Gemini и ChatGPT, и всяка AI-модел откриваше грешки в резултатите от работата на другите модели.

Метод се оказа подходящ за бързо създаване на прототип, но Ондржей отбеляза, че по време на работата си е чувствал, че е секретар на робот-управител. В началото бързото получаване на прототип внушаваше оптимизъм, но в края на краищата се появи усещането, че целият процес на разработка с помощта на AI отне повече време, отколкото ако беше написан ръчно от нулата. Много време беше прекарано в анализиране на предложението от AI, проверка за безсмислени промени и преработка – прототипът трябваше да бъде преработен, тъй като качеството на кода след работа с AI се оказа посредствено и кодът включваше много повторения.

Третият експеримент беше генерирането на балансировчик на натоварването на езика Rust, използвайки crate-пакетите Domain и Tokio. Claude Code успя да генерира искания работещ прототип, но Ондржей не познава достатъчно добре Rust и използваните библиотеки, за да оцени качеството на извършената работа.

Четвъртият експеримент беше свързан с подготовката на спомагателни материали, тестове и въпроси към курса лекции, който Ондржей преподава в университета, с Google Gemini. Този експеримент беше признат за най-успешен, въпреки че не се мина и без проблеми – AI измисли несъществуваща чешка дума за термин по криптография. Също така се отбеляза множеството студентски работи, генерирани от големи езикови модели, които трябва да бъдат върнати за преработка поради несъответствие с университетското ниво и неправилни източници.

Допълнително може да се отбележи и още един експеримент, проведен от директора по инжиниринг в компанията Cloudflare. С помощта на модела Claude Code, като е изразходвал около седмица време и 1100 долара за токени, беше подготвена алтернативна реализация на API фреймворка Next.js, оформена като плъгин за инструмента Vite. Проектът беше наречен vinext и публикуван на GitHub. Новата реализация е четири пъти по-бърза от компилацията на Next.js с помощта на Turbopack и генерира бандли за фронтенд приложения, които заемат с 57% по-малко място.

Проектът реализира 94% от шестнайсет основни API на Next.js и може да се използва като прозрачен заместител на Next.js и за разгръщане на проекти в платформата Cloudflare Workers без необходимост от допълнителни прослойки, като OpenNext, и без привързаност към Node.js. Основната цел на vinext е да предостави възможност за използване на API на Next.js на платформи, различни от Vercel, без да е необходимо разгръщане на собствен сървър. В текущата си версия поддържа само Cloudflare Workers и има прототип за Vercel, но в бъдеще се очаква да се добави поддръжка и за други платформи за безсървърни изчисления, с които може да работи Vite, включително Netlify и AWS Lambda.

Източник: opennet.ru