Utgivning av verktyget för anonymisering av databaser nxs-data-anonymizer 1.4.0

nxs-data-anonymizer 1.4.0 har offentliggjorts — ett verktyg för anonymisering av databasdumpningar för PostgreSQL och MySQL/MariaDB/Percona. Verktyget stödjer anonymisering av data baserat på mallar och funktioner från Sprig-biblioteket. Bland annat kan värden från andra kolumner i samma rad användas för att fylla i. Det är tillåtet att använda verktyget via obenämnda kanaler (pipe) i kommandoraden och omdirigera dumpningen från den ursprungliga databasen direkt till måldatabasen med nödvändiga transformationer. Verktyget är skrivet i Go och publiceras under Apache License 2.0.

Mindre än ett år efter den första versionen 1.0.0, har verktyget fått följande funktioner:

• En filterfunktion för arbete med null-värden har lagts till.
• Kommandot -l/—log-format har implementerats, vilket gör att man kan välja loggformat (json eller plain).
• En indikator för anonymiseringsprocessen har lagts till — information om operationens framsteg visas vid angivna intervall.
• I version 1.4 introducerades möjligheten att ange fältvärden med externa kommandon genom att lägga till "type: command" i kolumnens värde. Till exempel: filters: some_table_name: columns: some_column_name: type: command value: /path/to/command/or/script.sh

  Om kolumnen anges med "type: command", betraktas värdet i fältet value som en filväg till kommandot som kommer att köras varje gång för detta fält. Under kommandots körning kommer ytterligare miljövariabler att vara tillgängliga:

  • ENVVARTABLE={TABLE_NAME}: innehåller namnet på den filtrerade tabellen
  • ENVVARCOLUMN_{COLUMN_NAME}={COLUMN_VALUE}: innehåller alla kolumner och deras värden (före ersättning) för den aktuella filtrerade raden. Kommandots stdout betraktas som det nya värdet för det filtrerade fältet.

Källa: opennet.ru