Välja antud andmebaas libmdbx 0.11.7. Üleminek arendusele GitFlicis pärast GitHub'i blokeerimist

Välja anti libmdbx 0.11.7 (MDBX), mis rakendab kõrge jõudlusega kompaktset kaasaskantavat võtme-väärtus andmebaasi. libmdbx kood on litsentseeritud OpenLDAP Public License'i alusel. Toetatakse kõiki tänapäevaseid operatsioonisüsteeme ja arhitektuure, sealhulgas venelasi Elbrus 2000.

Väljaanne on märkimisväärne projekti migreerimise tõttu GitFlic teenusele pärast seda, kui GitHubi administratsioon eemaldatud libmdbx koos paljude teiste projektidega 15. aprillil 2022 ilma igasuguste etteteatamise või põhjused, samal ajal blokeerides juurdepääsu paljudele arendajatele, kes olid seotud Ameerika Ühendriikide sanktsioonide all olevate ettevõtetega. Kasutajate jaoks muutusid kõik lehed, hoidla ja fork'id äkki '404' leheks, ilma võimaluseta mingiks suhtlemiseks ja põhjuste väljaselgitamiseks.

Kahjuks on peaaegu kõik probleemid kadunud, kus oli palju küsimusi üksikasjalike vastustega, samuti arvukalt arutelusid. Selle teabe kaotamine on ainus objektiivne kahju, mille GitHubi administratsioon suutis projekti tekitada. Osaliselt jäävad arutelude koopiad kättesaadavaks arhivi archive.org.

Küpsiste ja infrastruktuuri kadumine (mida pakuti OpenSource projektidele tasuta) sundis tegelema revideerimisega, ühtlustamise ja väikese tehnilise võlgade likvideerimisega. Nüüd on CI taastatud peaaegu endisel mahul, välja arvatud kõikide BSD ja Solaris'i variantide kogumine ja testimine. Iseloomulik on see, et pärast GitHubi tegevust ei saadud mingit selgitust või teavitust, välja arvatud meeldetuletus vajadusest maksta ja katsed raha maha kirjutada.

Seoses eelmine uudise libmdbx v0.11.3 väljaandmisest, peale taastumist pärast GitHubi tegevust, on märkida järgmised täiustused ja parandused:

• Lisatud möödasõit avastatud efekti/defekti ebaühtlusest ühiselt lehekülgede ja puhverduste vahel Linuxi tuumas. Süsteemides, kus leheküljed ja puhverdused on tõesti ühendatud, ei ole tuumale mõtet kulutada mälu kahte andmekopeerimise jaoks, kui kirjutatakse juba mällu kaardistatud failile. Seetõttu muutuvad kirjutatavad andmed nähtavaks mälus kaardistamise kaudu enne süsteemi kõne write() lõpetamist, isegi kui andmeid ei ole veel kettale kirjutatud.

  Kokkuvõttes ei ole muu käitumine mõistlik, kuna isegi hilinenud ühendamise korral tuleb ikkagi lukustusi haarata lehe loendite jaoks, andmeid kopeerida või PTE-d korrigeerida. Seetõttu kehtis vaikenorm koherentsuse kohta alates 1989. aastast, kui SRV4-s ilmus ühtne puhvri vahemälu. Seetõttu nõudis libmdbx-is kummaliste tõrgete avastamine koormatud kasutusstsenaariumides suurt tööd. Esiteks probleemi taasesitamiseks, seejärel hüpoteeside tõendamiseks ja parenduste kontrollimiseks.

  Praegu võime kindlalt öelda, et probleem on usaldusväärselt tuvastatud, lokaliseeritud ja usaldusväärselt kõrvaldatud, hoolimata probleemide taasesitamise stsenaariumi keerukusest ja spetsiifikast. Lisaks oli ülesande vahetusmehanismi töö kinnitanud üks Erigoni (Ethereum) arendajatest, kelle puhul ilmus tõrje aktiveerumine debug-keerisolu tõttu liigse assert-kontrolli kujul.

  On oluline märkida, et libmdbx-i laialdase kasutamise kontekstis tööprojektides on põhimõtteliselt olulisem tagada usaldusväärne töö kui välja selgitada, kas see on viga või omadus, ning kas sellele koherentsusele võib toetuda, rääkimata mittekoherentsuse põhjuste otsimisest Linuxi tuumas. Seetõttu on juttu probleemist, mis võis mõjutada kasutajaid.

• Korrigeeritud on EXDEV (Cross-device link) vea tekkimise regress kuumakaitstud andmebaasi kopeerimisel teise failisüsteemi ilma kompaktimisega, nii API kaudu kui mdbx_copy utiliidiga.
• Kris Zyp teostas libmdbx-i toetuse Deno-sse. Kai Wetlesen koostas RPM pakette Fedora jaoks. David Bouyssié teostas Scala jaoks sidumisi.
• Parandatud on MDBX_opt_rp_augment_limit valiku käsitlemine suurte tehingute töötlemisel suurtes andmebaasides. Varem võis vea tõttu teha liialdavaid toiminguid, mis mõnikord mõjutasid tulemuslikkust Ethereum (Erigon/Akula/Silkworm) rakendustes ja Binance Chain projektides.
• Parandatud on palju puudusi, sealhulgas C++ API-s. Lahendatud on palju kokkupanemise probleeme haruldastes ja eksotilistes konfiguratsioonides. Täielik nimekiri kõigist olulisest parendustest on saadaval ChangeLogis.
• Kokku on tehtud 185 muudatust 89 failis, lisatud on umbes 3300 rida, eemaldatud umbes 4100. Suuremuselt kustutati enamasti juba kasutut tehnoloogiat seoses GitHubi ja sõltuvate teenustega.

Ajalooliselt on libmdbx sügav ümbertöötamine LMDB andmebaasihaldurist ja ületab oma esivanemat usaldusväärsuse, funktsionaalsuse ja jõudluse poolest. Erinevalt LMDB-st, pööratakse libmdbx-is suurt tähelepanu koodi kvaliteedile, API stabiilsele toimimisele, testimisele ja automaatsetele kontrollidele. Koos tuleb kaasas andmebaasi struktuuri terviklikkuse kontrollimise utiliit, millel on mõned taastamisvõimalused.

Tehnoloogiliselt pakub libmdbx ACID-i, ranget muudatuste serialiseerimist ja mitteblokkeerivat lugemist, millel on lineaarne skaleeritavus CPU tuumade kaupa. Toetatakse automaatset kompaktimist, automaatset andmebaasi suuruse haldamist, vahemiku päringute hindamist. Alates 2016. aastast rahastab projekti Positive Technologies ja alates 2017. aastast kasutatakse seda tema toodetes.

libmdbx jaoks on saadaval arenenud C++ API ning entusiaste toetavad sidemed keeltesse nagu Rust, Haskell, Python, NodeJS, Ruby, Go, Nim, Deno, Scala.

Allikas: opennet.ru