Väljaanne andmebaasi libmdbx 0.11.7. Arenduse üleviimine GitFlici pärast GitHubi blokeerimist

Ilmus libmdbx 0.11.7 (MDBX) teekonna versioon, mis hõlmab kõrge jõudlusega kompaktset sisseehitatavat võtmeväärtuse andmebaasi. Libmdbx kood levitatakse OpenLDAP Public License'i alusel. Toetatakse kõiki kaasaegseid operatsioonisüsteeme ja arhitektuure, sealhulgas Venemaa Elbrus 2000.

Väljalaskmine on märkimisväärne projekti migreerimise tõttu GitFlic teenusele pärast seda, kui GitHubi administratsioon eemaldas 15. aprillil 2022 libmdbx koos paljude teiste projektidega ilma etteteatamiseta ning blokeeris juurdepääsu paljudele arendajatele, kes on seotud USA sanktsioonide alla langenud ettevõtetega. Kasutajate vaatenurgast muutsid kõik projekti lehed, hoidla ja forkid äkitselt leheks „404”, ilma igasuguste kommunikatsioonivõimalusteta ja põhjuste selgitamiseks.

Kahjuks on peaaegu kõik küsimused kadunud, kus oli palju küsimusi üksikasjalike vastustega, samuti palju arutelu. Selle teabe kaotus on ainus objektiivne kahju, mida GitHubi administratsioon suutis projektile tekitada. Osaliselt jäävad arutelude koopiaid endiselt kättesaadavaks arhiivis archive.org.

CI-skriptide ja infrastruktuuri kadumine (mida pakuti tasuta avatud lähtekoodiga projektidele) sundis läbi viima ülevaatuse, ühtlustamise ja väikese tehnilise võla kõrvaldamise. Nüüd on CI peaaegu endises mahus taastatud, välja arvatud BSD ja Solaris'i kõigi variantide koostamine ja testimised. Mida tähelepanuväärsem, GitHub'i tegevuse järel ei tulnud mingeid selgitusi ega teateid, peale tasumise meeldetuletamise ja katsetuste raha mahaarvamise.

Libmdbx v0.11.3 väljaandmise pärast toimunud uudistest, kus peale GitHub'i tegevuse taastamise, on märkimisväärsed järgmised täiustused ja parandused:

• Lisa tuvastatud koherentsuse defekti/efekti ümbersuunamine lehtede ja puhversüsteemide ühises mälus Linuxi tuumas. Süsteemides, kus lehtede ja puhversüsteemide vaheline mälumäng on tõeliselt ühine, pole tuumal mõtet kulutada mälu kahe andmekopeerimise jaoks, kui kirjutatakse juba mäletatud faili. Seetõttu muutuvad kirjutatavad andmed nähtavaks mälestuse kaudu enne süsteemiväljakutse write() lõpuleviimist, isegi kui andmed pole veel kettale kirjutatud.

  Kokkuvõttes ei ole teine käitumine ratsionaalne, kuna viivitusega liitmisel tuleb ikkagi haarata lukud lehede loendite jaoks, kopeerida andmeid või kohandada PTE-d. Seetõttu on vaikimisi koherentsuse reegel kehtinud alates 1989. aastast, mil SRV4-s tutvustati ühtset puhvercache'i. Seetõttu nõudis kummaliste tõrgete avastamine libmdbx'i koormatud kasutusstsenaariumites suurt tööd. Esiteks, probleemide korrigeerimine, seejärel hüpoteeside kinnitamine ja muudatuste kontrollimine.

  Praegu võib kindlalt öelda, et probleem on usaldusväärselt tuvastatud, lokaliseeritud ja usaldusväärselt kõrvaldatud, hoolimata kogu keerukusest ja spetsiifilisusest taasesituse stsenaariumis. Lisaks kinnitas ühes Erigoni (Ethereum) arendaja mehhanismi ümbermineku töö, kus tema juhul ilmus tõrke kaitse aktiveerimine debug-kogumisse tagasiulatuva hetkena liigse assert-kontrolli tõttu.

  Oluline on märkida, et libmdbx laialdasel kasutamisel tööprojektides on põhimõtteliselt tähtsam tagada usaldusväärne töö, mitte määrata, kas see on "viga või omadus" ning kas sellisele koherentsusele saab toetuda, rääkimata põhjusest, miks Linuxi kärjes koherentsus puudub. Seetõttu räägime siin probleemide kõrvaldamisest, mis võiksid kasutajaid mõjutada.

• Parandatud on regresseerimise viga EXDEV (Cross-device link) andmebaasi kuumakopimisel teise failisüsteemi ilma kompaktseta, nii API kaudu kui ka mdbx_copy utiliidi kaudu.
• Kris Zyp rakendas libmdbx toe Deno-s. Kai Wetlesen koostas RPM paketi Fedora jaoks. David Bouyssié rakendas Scala sidemed.
• Parandatud on väärtuse töötlemine, mis määratakse MDBX_opt_rp_augment_limit valikuga suurte andmebaaside tohutute tehingute töötlemisel. Varasemalt võis vea tõttu toimuda ebaolulisi toiminguid, mis mõjutasid mõnel juhul Ethereum'i (Erigon/Akula/Silkworm) ja Binance Chain'i projektide jõudlust.
• Parandatud on hulk puudusi, sealhulgas C++ API-s. Palju probleeme on lahendatud harvades ja eksootilistes konfiguratsioonides. Kõik olulisemad täiustused on loetletud ChangeLogis.
• Kokku on tehtud 185 muudatust 89 failis, lisatud on ≈3300 rida ja eemaldatud ≈4100. Rohkem on eemaldatud peamiselt juba kasutusest väljas oleva tehnoloogiafailide puhastamise tõttu, mis on seotud GitHubi ja sõltuvate teenustega.

Ajalooliselt on libmdbx sügavalt ümber töötatud LMDB andmebaasi ja ületab oma esivanemat usaldusväärsuse, võimaluste ja jõudluse poolest. Erinevalt LMDB-st on libmdbx-is suurt tähelepanu pööratud koodikvaliteedile, API stabiilsele tööle, testimisele ja automaatsetele kontrollidele. Kinnitatud andmebaasi struktuuri kontrollimise utiliit koos mõningate taastamisvõimalustega.

Tehniliselt pakub libmdbx ACID-i, ranget muudatuste serialiseerimist ning mitteblokeerivat lugemist koos lineaarse skaleerimisega CPU tuumade jaoks. Toetatakse automaatset kompaktimist, automaatset andmebaasi suuruse haldust ja vahemike (range) päringute hindamist. Alates 2016. aastast finantseeritakse projekti Positive Technologies'i poolt, ning alates 2017. aastast on see kasutusel nende toodetes.

libmdbx-i jaoks on välja töötatud arenenud C++ API, samuti on entusiastide poolt toetatud sidemed Rusti, Haskell, Pythoni, NodeJS, Ruby, Go, Nim, Deno ja Scala keeltesse.

Allikas: opennet.ru