Release av distribuerad databas TiDB 4.0

Tillgänglig utgåvan av den distribuerade databasen TiDB 4.0, utvecklad under intryck av teknologier från Google Spanner och F1. TiDB tillhör kategorin hybrid HTAP-system (Hybrid Transactional/Analytical Processing), som kan både genomföra realtids transaktioner (OLTP) och utföra analysfrågor. Projektet är skrivet i Go och sprids är licensierad under Apache 2.0.

Egenskaper hos TiDB:

• Stöd för SQL och tillhandahållande av klientgränssnitt som är kompatibelt med MySQL-protokollet, vilket förenklar anpassningen av befintliga applikationer mot TiDB skrivna för MySQL och möjliggör användning av populära klientbibliotek. Förutom MySQL-protokollet kan man använda ett API baserat på JSON och en connector för Spark för att kommunicera med databasen.
• Det SQL-stöd som erbjuds inkluderar index, aggregatfunktioner, GROUP BY, ORDER BY, DISTINCT, sammanslagningar (LEFT JOIN / RIGHT JOIN / CROSS JOIN), vyer, fönsterfunktioner och subfrågor. De tillhandahållna funktionerna är tillräckliga för att organisera arbetet med TiDB i web-applikationer som PhpMyAdmin, Gogs och WordPress;
• Möjlighet till horisontell skalning och felöverlevnad: lagringsstorlek och beräkningskraft kan ökas enkelt genom att ansluta nya noder. Data distribueras över noderna med redundans som möjliggör fortsatt drift vid eventuella nodfel. Fel hanteras automatiskt.
• Systemet garanterar konsistens och ser ut som en stor databas för klientprogramvara, trots att data för att utföra transaktioner faktiskt hämtas från flera noder.
• För fysisk lagring av data på noder kan olika backends tillämpas, som lokala lagringsmotorer GoLevelDB och BoltDB, eller egna motorer för distribuerad lagring TiKV och TiFlash. TiKV lagrar data i radvis i nyckel/värde-format och är mer optimal för transaktionsbearbetning (OLTP). TiFlash lagrar data kolumnvis och möjliggör högre prestanda för analytiska uppgifter (OLAP).
• Möjlighet till asynkron ändring av lagringsschema, vilket gör det möjligt att på språng lägga till kolumner och index utan att stoppa behandlingen av aktuella operationer.

I den nya utgåvan:

• Som standard är den distribuerade skräpsamlaren Green GC aktiverad, vilket väsentligt kan öka hastigheten på skräpsamling i stora kluster och förbättra stabiliteten i driften;
• Stöd för stora transaktioner har lagts till, där storleken i princip begränsas av den fysiska minnesstorleken. Storleksgränsen för en enda transaktion har ökat från 100 MB till 10 GB;
• Stöd för kommandona BACKUP och RESTORE för säkerhetskopiering har lagts till;
• Möjlighet att sätta lås på tabeller har lagts till;
• En kompatibel transaktionsisolering mekanism i MySQL stil på läsnivån (READ COMMITTED) har lagts till;
• Stöd för LIKE och WHERE uttryck har lagts till i kommandot "ADMIN SHOW DDL JOBS";
• Parametern oom-use-tmp-storage har lagts till, vilket möjliggör användning av temporära filer för att cachea mellanresultat vid brist på RAM;
• Nyckelordet Random har lagts till för att tilldela attribut slumpmässiga värden;
• I LOAD DATA-kommandot har möjligheten att använda hexadecimala och binära uttryck lagts till;
• 15 parametrar för att styra optimerarens beteende har lagts till;
• Verktyg för att diagnostisera SQL-frågers prestanda har lagts till. Logg för långsamma frågor har lagts till, vilket är tillgängligt via systemtabellerna SLOW_QUERY / CLUSTER_SLOW_QUERY;
• Stöd för funktioner för arbete med sekvenser har lagts till;
• Möjlighet till dynamisk ändring av konfigurationsparametrar som läses från PD (Placement Driver, klusterhanteringsserver) har lagts till. Möjlighet att använda uttrycket "SET CONFIG" för att ändra inställningarna för noderna PD/TiKV har lagts till.
• Inställningen max-server-connections har lagts till för att begränsa det maximala antalet samtidiga anslutningar till servern (standard 4096);
• Prestandan har ökat i situationer där de begärda kolumnerna helt täcks av index;
• Optimering av frågor på basis av sammanslagning av index har lagts till;
• Prestanda för operationer med värdeserier har ökat;
• CPU-belastningen har minskats genom att cacha resultat från indexanrop och filtrera bort dubbletter;
• Stöd för ett nytt format för lagring av rader har lagts till, vilket gör det möjligt att öka prestandan för tabeller med ett stort antal kolumner;
• I funktionen GROUP_CONCAT har stöd för uttrycket "ORDER BY" lagts till;
• Det har lagts till möjlighet att extrahera data från loggen TiFlash via SQL;
• I teamet "RECOVER TABLE" har stöd för återställning av beskurna tabeller;
• En systemtabell DDLJobs har lagts till för att begära detaljer om genomförda DDL-uppgifter;
• Möjlighet att använda kommandot SHOW CONFIG har lagts till för att visa inställningarna för PD och TiKV;
• Aktiverad standard cache för samprocessorn;
• Antalet goroutines i commitåterföringsfasen kan nu kontrolleras med inställningen committer-concurrency;
• Möjlighet att visa regionerna i tabellpartitioner har lagts till;
• I tidb-server har möjligheten att begränsa storleken på det temporära lagret lagts till;
• Stöd för operationerna "insert into tbl_name partition(partition_name_list)" och "replace into tbl_name partition(partition_name_list)" har lagts till;
• I den hash som används för partitionering har stöd för filtrering med egenskapen "is null" lagts till;
• För partitionerade tabeller har stöd för kontroller, rensning och återställning av index lagts till.

Källa: opennet.ru