Projekten CBS och sqld utvecklar moln- och serveralternativ för SQLite

Utvecklarna av SQLite utvecklar en experimentell VFS-modul CBS (Cloud Backed SQLite) som möjliggör lagring av databasens innehåll inte i en lokal fil, utan i en extern molnlagring. För lagring används ett speciellt optimerat format för extern lagring som tillåter att data laddas från extern lagring dynamiskt efter behov, utan att först kopiera hela databasen till det lokala systemet. För molnlagring stöds för närvarande Azure Blob Storage och Google Cloud Storage. Alla applikationer som stöder vanlig SQLite kan övergå till att använda CBS.

VFS-modulen kan arbeta i bakgrunds- och aktivt läge. I bakgrundsläget körs en bakgrundsprocess kontinuerligt i systemet, vilket gör det möjligt att komma åt den externa databasen endast i läsläge och stödja en gemensam cache som olika processer kan använda. I aktivt läge tillåts både läsning och skrivning, men endast den lokala cachen för den aktuella processen används. Vid varje given tidpunkt kan endast en klient skriva, och andra klienter ser inte de skrivna ändringarna förrän de uttryckligen begärs från molnlagringen. För att separera olika skrivförfrågningar används SQLite:s typiska låsesystem baserat på WAL-logg.

Utvecklarna ges ett utökat C API och kommandoradsgränssnitt som möjliggör operationer som att skapa och rensa extern lagring, ladda och avlasta databasen till/från extern lagring, skapa en kopia av databasen på extern lagring, visa listan över databaser i molnlagring, ta bort oanvända block från molnlagringen.

Separat har utvecklarna av projektet libSQL (en utökad fork av SQLite) tillkännagett en serverversion av SQLite — sqld, som möjliggör att organisera arbetet för en gemensamt använd databashanteringssystem, där klientanslutningar görs via PostgreSQL-protokollet eller HTTP. Till exempel kan befintliga klientbibliotek som skapats för databashanteringssystemet PostgreSQL användas för att ansluta till sqld, bland annat kommandoradsgränssnittet psql. Servern sqld kan också nås via ett API baserat på HTTP-protokollet, vilket underlättar integrationen med webbapplikationer. Koden för sqld är skriven i Rust och distribueras under MIT-licensen.

Användningsområdena för sqld inkluderar säkerhetskopiering, replikering till andra system och organisering av åtkomst till databasen SQlite i serverlösa infrastrukturer där det inte finns något permanent lagringsutrymme och där det är omöjligt att upprätthålla databasen i en lokal fil. I serverlösa system kan databasen som sqld arbetar med replikeras från andra. servrar. För att säkerställa hög tillgänglighet och motståndskraft mot fel stöds integration med mvSQLite (en distribuerad variant av SQLite som körs ovanpå FoundationDB). Det finns ett läge för att upprätthålla en aktiv säkerhetskopia, implementerat genom periodisk sparande av ögonblicksbilder av databasens tillstånd och replikering av ändringar från WAL-loggen till en molnlagring som är kompatibel med Amazon S3.

För applikationer finns en SQLite-kompatibel bibliotek som kan laddas via LD_PRELOAD för att gå från att lagra data i en lokal fil till att arbeta via sqld. Det är möjligt att ladda tillägg till SQLite. Klientbiblioteken är förberedda för TypeScript, JavaScript, Rust, Go och Python. Med databasen kopplad till sqld kan man samtidigt arbeta med standardverktygen för SQLite, dvs. sqld fungerar som ett lager för att tillhandahålla nätverksåtkomst till databasen, replikering och säkerhetskopiering. Till exempel: # Starta servern för SQLite-databasen foo.db: sqld -d foo.db -p 127.0.0.1:5432 —http-listen-addr=127.0.0.1:8000 # Anslut till databasen med PostgreSQL-verktyg: psql -q postgres://127.0.0.1 # Anslut lokalt till databasen med SQLite-verktyg: sqlite3 foo.db # Anslut via HTTP: curl -s -d "{\"statements\": [\"SELECT * from databases;\"] }" \\ http://127.0.0.1:8000

Avslutningsvis kan projektet LiteFS nämnas, vilket utvecklas av Fly.io. LiteFS är en FUSE-modul för att organisera arbete med en gemensam SQLite-databas på flera värdar. LiteFS replikar databastillståndet mellan flera system genom att fånga skrivoperationer till filen med databasen och översända dessa operationer till andra system med liknande transaktionsmekanismer och spara transaktionerna i en separat fil i LTX-format. Koden för LiteFS är skriven i Go och distribueras under Apache 2.0-licensen.

Källa: opennet.ru