Expérimentation avec l'IA pour améliorer le code de BIND 9 et refonte de Next.js

Ondřej Surý, directeur de l'ingénierie DNS chez ISC et ancien fondateur de CZ.NIC Labs, développeur du serveur DNS Knot, a présenté les résultats d'expérimentations menées avec de grands modèles de langage pour analyser, corriger et moderniser le code source du serveur DNS BIND 9, prototyper de nouveaux projets et élaborer des supports de formation pour les étudiants. L'utilisation de l'IA a permis de conclure que les grands modèles de langage sont bien adaptés au prototypage rapide, à la compréhension de code inconnu et à l'automatisation des tâches simples et répétitives. Cependant, pour des problèmes plus complexes, le gain de temps qu'ils permettent est discutable, car une part importante du temps est consacrée à la formulation du problème, à l'examen et à la validation des résultats, ainsi qu'à leur optimisation.

Lors de la première expérience, l'assistant IA Claude Code a été chargé de détecter les problèmes dans le code source du serveur DNS BIND 9, en se concentrant sur les failles de sécurité et la modernisation du code. Aucune des corrections proposées n'a été intégrée au code source, car Claude a généré un code techniquement correct mais pratiquement inutilisable. Par exemple, des identificateurs réservés et des dépassements d'entiers potentiels, empêchés par le compilateur et ne nécessitant aucune correction, ont été identifiés comme des problèmes. L'expérience a été jugée comme une perte de temps.

Dans la seconde expérience, Ondřej a demandé à Claude de concevoir un système de télémétrie compatible avec différents logiciels et minimisant les fuites de métadonnées. Claude Code a préparé des prototypes du client et serveurmais sans une compréhension adéquate de l'environnement et des problèmes rencontrés lors des tests. Google Gemini et ChatGPT ont également été utilisés, et chaque modèle d'IA a mis en évidence des erreurs dans le fonctionnement des autres.

La méthode s'est avérée adaptée au prototypage rapide, mais Ondřej a remarqué qu'en la mettant en œuvre, il se sentait comme le secrétaire d'un robot tyrannique. Au départ, la génération rapide de prototypes était encourageante, mais finalement, le processus de développement avec l'IA a semblé plus long que l'écriture manuelle du code. Un temps considérable a été consacré à l'analyse de la solution proposée par l'IA, à la vérification des modifications superflues et à sa refonte ; le prototype a dû être réécrit, car la qualité du code après l'intervention de l'IA était médiocre et comportait de nombreuses répétitions.

La troisième expérience consistait à générer un équilibreur de charge en Rust à l'aide des bibliothèques Domain et Tokio. Claude Code a réussi à générer le prototype fonctionnel demandé, mais Ondřej ne maîtrise pas suffisamment Rust et les bibliothèques impliquées pour évaluer la qualité du travail.

La quatrième expérience consistait à utiliser Google Gemini pour préparer des supports de cours, des tests et des questions pour un cours magistral dispensé par Ondřej à l'université. Cette expérience a été jugée la plus concluante, malgré quelques problèmes : l'IA a créé un mot tchèque inexistant pour un terme de cryptographie. On a également constaté un grand nombre de travaux d'étudiants, générés par de grands modèles de langage, qui ont dû être renvoyés pour révision en raison de leur non-conformité aux normes de l'université et de références à des sources erronées.

Une autre expérience menée par le directeur de l'ingénierie de Cloudflare mérite d'être mentionnée. En utilisant le modèle Claude Code, en y consacrant environ une semaine et 1 100 $ en tokens, ils ont pu développer une implémentation alternative de l'API du framework Next.js, sous forme de plugin pour la boîte à outils Vite. Ce projet, baptisé vinext, est disponible sur GitHub. Cette nouvelle implémentation est quatre fois plus rapide que la compilation de Next.js avec Turbopack et génère des bundles frontend 57 % plus petits.

Le projet implémente 94 % des seize API principales de Next.js et peut être utilisé comme une alternative transparente à Next.js. Il peut être déployé sur la plateforme Cloudflare Workers sans nécessiter de couches supplémentaires telles qu'OpenNext ni de dépendance à Node.js. L'objectif principal de Vinext est de permettre l'utilisation de l'API Next.js sur des plateformes autres que Vercel, sans déploiement de serveur dédié. Actuellement, seule la plateforme Cloudflare Workers est prise en charge, un prototype pour Vercel étant disponible. La prise en charge d'autres plateformes de calcul sans serveur compatibles avec Vinext, notamment Netlify et AWS Lambda, est prévue.

Source: opennet.ru