ການຟື້ນຕົວຂໍ້ມູນຈາກຕາຕະລາງ XtraDB ໂດຍບໍ່ມີໄຟລ໌ໂຄງສ້າງໂດຍໃຊ້ການວິເຄາະ byte-by-byte ຂອງໄຟລ໌ ibd

ປະວັດສາດ

ມັນເກີດຂຶ້ນດັ່ງນັ້ນເຄື່ອງແມ່ຂ່າຍໄດ້ຖືກໂຈມຕີໂດຍເຊື້ອໄວຣັສ ransomware, ເຊິ່ງ, ໂດຍ "ອຸປະຕິເຫດໂຊກດີ", ບາງສ່ວນເຮັດໃຫ້ໄຟລ໌ .ibd (ໄຟລ໌ຂໍ້ມູນດິບຂອງຕາຕະລາງ innodb) ບໍ່ໄດ້ຮັບການແຕະຕ້ອງ, ແຕ່ໃນເວລາດຽວກັນໄດ້ເຂົ້າລະຫັດໄຟລ໌ .fpm ຢ່າງສົມບູນ (. ໄຟລ໌ໂຄງສ້າງ). ໃນກໍລະນີນີ້, .idb ສາມາດແບ່ງອອກເປັນ:

• ຂຶ້ນກັບການຟື້ນຟູໂດຍຜ່ານເຄື່ອງມືມາດຕະຖານແລະຄູ່ມື. ສໍາລັບກໍລະນີດັ່ງກ່າວ, ມີທີ່ດີເລີດ ກາຍ​ເປັນ;
• ຕາຕະລາງທີ່ຖືກເຂົ້າລະຫັດບາງສ່ວນ. ສ່ວນໃຫຍ່ເຫຼົ່ານີ້ແມ່ນຕາຕະລາງຂະຫນາດໃຫຍ່, ເຊິ່ງ (ຕາມທີ່ຂ້ອຍເຂົ້າໃຈ) ຜູ້ໂຈມຕີບໍ່ມີ RAM ພຽງພໍສໍາລັບການເຂົ້າລະຫັດເຕັມ;
• ດີ, ຕາຕະລາງທີ່ຖືກເຂົ້າລະຫັດຢ່າງເຕັມສ່ວນທີ່ບໍ່ສາມາດຟື້ນຟູໄດ້.

ມັນເປັນໄປໄດ້ທີ່ຈະກໍານົດທາງເລືອກທີ່ຕາຕະລາງເປັນຂອງໂດຍພຽງແຕ່ເປີດມັນຢູ່ໃນຕົວແກ້ໄຂຂໍ້ຄວາມໃດໆພາຍໃຕ້ການເຂົ້າລະຫັດທີ່ຕ້ອງການ (ໃນກໍລະນີຂອງຂ້ອຍມັນແມ່ນ UTF8) ແລະພຽງແຕ່ເບິ່ງໄຟລ໌ສໍາລັບການມີຊ່ອງຂໍ້ຄວາມ, ຕົວຢ່າງ:

ນອກຈາກນີ້, ໃນຕອນຕົ້ນຂອງໄຟລ໌ທ່ານສາມາດສັງເກດເຫັນຈໍານວນຫລາຍຂອງ 0 bytes, ແລະໄວຣັສທີ່ໃຊ້ລະບົບການເຂົ້າລະຫັດບລັອກ (ທົ່ວໄປທີ່ສຸດ) ມັກຈະມີຜົນກະທົບຕໍ່ພວກມັນເຊັ່ນກັນ.

ໃນກໍລະນີຂອງຂ້ອຍ, ຜູ້ໂຈມຕີໄດ້ປະໄວ້ 4-byte string (1, 0, 0, 0) ໃນຕອນທ້າຍຂອງແຕ່ລະໄຟລ໌ທີ່ຖືກເຂົ້າລະຫັດ, ເຊິ່ງເຮັດໃຫ້ວຽກງານງ່າຍດາຍ. ເພື່ອຊອກຫາໄຟລ໌ທີ່ບໍ່ມີການຕິດເຊື້ອ, script ແມ່ນພຽງພໍ:

def opened(path):
    files = os.listdir(path)
    for f in files:
        if os.path.isfile(path + f):
            yield path + f

for full_path in opened("C:somepath"):
    file = open(full_path, "rb")
    last_string = ""
    for line in file:
        last_string = line
        file.close()
    if (last_string[len(last_string) -4:len(last_string)]) != (1, 0, 0, 0):
        print(full_path)

ດັ່ງນັ້ນ, ມັນໄດ້ຫັນອອກເພື່ອຊອກຫາໄຟລ໌ທີ່ເປັນຂອງປະເພດທໍາອິດ. ອັນທີສອງກ່ຽວຂ້ອງກັບການເຮັດວຽກຄູ່ມືຫຼາຍ, ແຕ່ສິ່ງທີ່ພົບເຫັນແມ່ນພຽງພໍແລ້ວ. ທຸກຢ່າງຈະດີ, ແຕ່ເຈົ້າຕ້ອງຮູ້ ໂຄງສ້າງທີ່ຊັດເຈນຢ່າງແທ້ຈິງ ແລະ (ແນ່ນອນ) ກໍລະນີເກີດຂຶ້ນທີ່ຂ້ອຍຕ້ອງເຮັດວຽກກັບຕາຕະລາງທີ່ມີການປ່ຽນແປງເລື້ອຍໆ. ບໍ່ມີໃຜຈື່ໄດ້ວ່າປະເພດພາກສະຫນາມໄດ້ຖືກປ່ຽນແປງຫຼືມີຖັນໃຫມ່ຖືກເພີ່ມ.

Wilds City, ແຕ່ຫນ້າເສຍດາຍ, ບໍ່ສາມາດຊ່ວຍກັບກໍລະນີດັ່ງກ່າວ, ເຊິ່ງເປັນເຫດຜົນທີ່ວ່າບົດຄວາມນີ້ຖືກຂຽນ.

ໄປຮອດຈຸດ

ມີໂຄງສ້າງຂອງຕາຕະລາງຈາກ 3 ເດືອນກ່ອນຫນ້ານີ້ທີ່ບໍ່ກົງກັນກັບປະຈຸບັນ (ອາດຈະເປັນຫນຶ່ງພາກສະຫນາມ, ແລະອາດຈະເປັນຫຼາຍກວ່ານັ້ນ). ໂຄງສ້າງຕາຕະລາງ:

CREATE TABLE `table_1` (
    `id` INT (11),
    `date` DATETIME ,
    `description` TEXT ,
    `id_point` INT (11),
    `id_user` INT (11),
    `date_start` DATETIME ,
    `date_finish` DATETIME ,
    `photo` INT (1),
    `id_client` INT (11),
    `status` INT (1),
    `lead__time` TIME ,
    `sendstatus` TINYINT (4)
); 

ໃນກໍລະນີນີ້, ທ່ານຈໍາເປັນຕ້ອງໄດ້ສະກັດ:

• id_point int(11);
• id_user int(11);
• date_start DATETIME;
• date_finish DATETIME.

ສໍາລັບການຟື້ນຕົວ, ການວິເຄາະ byte-by-byte ຂອງໄຟລ໌ .ibd ຖືກນໍາໃຊ້, ປະຕິບັດຕາມໂດຍການປ່ຽນໃຫ້ເຂົາເຈົ້າເຂົ້າໄປໃນຮູບແບບທີ່ສາມາດອ່ານໄດ້ຫຼາຍ. ນັບຕັ້ງແຕ່ເພື່ອຊອກຫາສິ່ງທີ່ພວກເຮົາຕ້ອງການ, ພວກເຮົາພຽງແຕ່ຕ້ອງການວິເຄາະປະເພດຂໍ້ມູນເຊັ່ນ int ແລະ datatime, ບົດຄວາມຈະອະທິບາຍພຽງແຕ່ພວກເຂົາ, ແຕ່ບາງຄັ້ງພວກເຮົາຍັງຫມາຍເຖິງປະເພດຂໍ້ມູນອື່ນໆ, ເຊິ່ງສາມາດຊ່ວຍໃນເຫດການທີ່ຄ້າຍຄືກັນອື່ນໆ.

ບັນຫາ 1: ຊ່ອງຂໍ້ມູນທີ່ມີປະເພດ DATETIME ແລະ TEXT ມີມູນຄ່າ NULL, ແລະພວກມັນຖືກຂ້າມພຽງແຕ່ຢູ່ໃນໄຟລ໌, ເນື່ອງຈາກວ່ານີ້, ມັນບໍ່ສາມາດກໍານົດໂຄງສ້າງເພື່ອຟື້ນຟູໃນກໍລະນີຂອງຂ້ອຍ. ໃນຖັນໃຫມ່, ຄ່າເລີ່ມຕົ້ນແມ່ນ null, ແລະສ່ວນຫນຶ່ງຂອງການເຮັດທຸລະກໍາອາດຈະສູນເສຍເນື່ອງຈາກການຕັ້ງຄ່າ innodb_flush_log_at_trx_commit = 0, ດັ່ງນັ້ນຈະຕ້ອງໃຊ້ເວລາເພີ່ມເຕີມເພື່ອກໍານົດໂຄງສ້າງ.

ບັນຫາ 2: ມັນຄວນຈະຖືກພິຈາລະນາວ່າແຖວທີ່ຖືກລົບຜ່ານ DELETE ທັງຫມົດຈະຢູ່ໃນໄຟລ໌ ibd, ແຕ່ດ້ວຍ ALTER TABLE ໂຄງສ້າງຂອງພວກມັນຈະບໍ່ຖືກປັບປຸງ. ດັ່ງນັ້ນ, ໂຄງສ້າງຂໍ້ມູນສາມາດແຕກຕ່າງກັນຈາກຈຸດເລີ່ມຕົ້ນຂອງໄຟລ໌ຈົນເຖິງທີ່ສຸດ. ຖ້າທ່ານມັກໃຊ້ OPTIMIZE TABLE, ຫຼັງຈາກນັ້ນທ່ານຄົງຈະບໍ່ພົບບັນຫາດັ່ງກ່າວ.

ຈ່າຍເອົາໃຈໃສ່, ສະບັບ DBMS ມີຜົນກະທົບວິທີການເກັບຮັກສາຂໍ້ມູນ, ແລະຕົວຢ່າງນີ້ອາດຈະບໍ່ເຮັດວຽກສໍາລັບສະບັບທີ່ສໍາຄັນອື່ນໆ. ໃນກໍລະນີຂອງຂ້ອຍ, ສະບັບ windows ຂອງ mariadb 10.1.24 ຖືກນໍາໃຊ້. ນອກຈາກນັ້ນ, ເຖິງແມ່ນວ່າໃນ mariadb ທ່ານເຮັດວຽກກັບຕາຕະລາງ InnoDB, ໃນຄວາມເປັນຈິງພວກມັນແມ່ນ XtraDB, ເຊິ່ງບໍ່ລວມເອົາວິທີການນໍາໃຊ້ກັບ InnoDB mysql.

ການວິເຄາະໄຟລ໌

ໃນ python, ປະເພດຂໍ້ມູນ bytes() ສະແດງຂໍ້ມູນ Unicode ແທນຕົວເລກປົກກະຕິ. ເຖິງແມ່ນວ່າທ່ານສາມາດເບິ່ງໄຟລ໌ໃນຮູບແບບນີ້, ເພື່ອຄວາມສະດວກທ່ານສາມາດປ່ຽນ bytes ເຂົ້າໄປໃນຮູບແບບຕົວເລກໂດຍການແປງ byte array ເປັນ array ປົກກະຕິ (list(example_byte_array)). ໃນກໍລະນີໃດກໍ່ຕາມ, ທັງສອງວິທີການແມ່ນເຫມາະສົມສໍາລັບການວິເຄາະ.

ຫຼັງຈາກເບິ່ງໄຟລ໌ ibd ຫຼາຍ, ທ່ານສາມາດຊອກຫາດັ່ງຕໍ່ໄປນີ້:

ຍິ່ງໄປກວ່ານັ້ນ, ຖ້າທ່ານແບ່ງໄຟລ໌ໂດຍຄໍາສໍາຄັນເຫຼົ່ານີ້, ທ່ານຈະໄດ້ຮັບຂໍ້ມູນເກືອບທັງຫມົດ. ພວກເຮົາຈະໃຊ້ infimum ເປັນຕົວຫານ.

table = table.split("infimum".encode())

ການສັງເກດທີ່ຫນ້າສົນໃຈ: ສໍາລັບຕາຕະລາງທີ່ມີຈໍານວນຂໍ້ມູນຂະຫນາດນ້ອຍ, ລະຫວ່າງ infimum ແລະ supremum ມີຕົວຊີ້ໄປຫາຈໍານວນແຖວຢູ່ໃນຕັນ.

- ຕາ​ຕະ​ລາງ​ທົດ​ສອບ​ທີ່​ມີ​ແຖວ​ທີ 1​

- ຕາຕະລາງການທົດສອບທີ່ມີ 2 ແຖວ

ຕາຕະລາງ array ແຖວ[0] ສາມາດຂ້າມໄດ້. ຫຼັງຈາກເບິ່ງຜ່ານມັນ, ຂ້ອຍຍັງບໍ່ສາມາດຊອກຫາຂໍ້ມູນຕາຕະລາງດິບໄດ້. ສ່ວນຫຼາຍອາດຈະ, ຕັນນີ້ຖືກນໍາໃຊ້ເພື່ອເກັບຮັກສາດັດສະນີແລະຄີ.
ເລີ່ມຕົ້ນດ້ວຍຕາຕະລາງ[1] ແລະແປເປັນ array ຕົວເລກ, ທ່ານສາມາດສັງເກດເຫັນບາງຮູບແບບ, ຄື:

ເຫຼົ່ານີ້ແມ່ນຄ່າ int ທີ່ເກັບໄວ້ໃນສະຕຣິງ. ໄບຕ໌ທຳອິດຊີ້ບອກວ່າຕົວເລກເປັນບວກ ຫຼືລົບ. ໃນກໍລະນີຂອງຂ້ອຍ, ຕົວເລກທັງຫມົດແມ່ນບວກ. ຈາກ 3 bytes ທີ່ຍັງເຫຼືອ, ທ່ານສາມາດກໍານົດຕົວເລກໂດຍໃຊ້ຟັງຊັນຕໍ່ໄປນີ້. ສະຄຣິບ:

def find_int(val: str):  # example '128, 1, 2, 3'
    val = [int(v) for v in  val.split(", ")]
    result_int = val[1]*256**2 + val[2]*256*1 + val[3]
    return result_int

ສໍາລັບຕົວຢ່າງ, 128, 0, 0, 1 = 1, ຫຼື 128, 0, 75, 108 = 19308.
ຕາຕະລາງມີລະຫັດຫຼັກທີ່ມີການເພີ່ມອັດຕະໂນມັດ, ແລະມັນຍັງສາມາດພົບໄດ້ທີ່ນີ້

ມີການປຽບທຽບຂໍ້ມູນຈາກຕາຕະລາງການທົດສອບ, ມັນໄດ້ຖືກເປີດເຜີຍວ່າວັດຖຸ DATETIME ປະກອບດ້ວຍ 5 ໄບຕ໌ແລະເລີ່ມຕົ້ນດ້ວຍ 153 (ສ່ວນຫຼາຍອາດຈະຊີ້ໃຫ້ເຫັນໄລຍະປະຈໍາປີ). ນັບຕັ້ງແຕ່ຊ່ວງ DATTIME ແມ່ນ '1000-01-01' ເຖິງ 9999-12-31', ຂ້າພະເຈົ້າຄິດວ່າຈໍານວນຂອງ bytes ອາດຈະແຕກຕ່າງກັນ, ແຕ່ໃນກໍລະນີຂອງຂ້ອຍ, ຂໍ້ມູນຫຼຸດລົງໃນໄລຍະເວລາຈາກ 2016 ຫາ 2019, ດັ່ງນັ້ນພວກເຮົາຈະສົມມຸດ ວ່າ 5 bytes ພຽງພໍ.

ເພື່ອກໍານົດເວລາທີ່ບໍ່ມີວິນາທີ, ຫນ້າທີ່ຕໍ່ໄປນີ້ຖືກຂຽນ. ສະຄຣິບ:

day_ = lambda x: x % 64 // 2  # {x,x,X,x,x }

def hour_(x1, x2):  # {x,x,X1,X2,x}
    if x1 % 2 == 0:
        return x2 // 16
    elif x1 % 2 == 1:
        return x2 // 16 + 16
    else:
        raise ValueError

min_ = lambda x1, x2: (x1 % 16) * 4 + (x2 // 64)  # {x,x,x,X1,X2}

ມັນບໍ່ສາມາດຂຽນຫນ້າທີ່ເຮັດວຽກສໍາລັບປີແລະເດືອນ, ດັ່ງນັ້ນຂ້ອຍຕ້ອງ hack ມັນ. ສະຄຣິບ:

ym_list = {'2016, 1': '153, 152, 64', '2016, 2': '153, 152, 128', 
           '2016, 3': '153, 152, 192', '2016, 4': '153, 153, 0',
           '2016, 5': '153, 153, 64', '2016, 6': '153, 153, 128', 
           '2016, 7': '153, 153, 192', '2016, 8': '153, 154, 0', 
           '2016, 9': '153, 154, 64', '2016, 10': '153, 154, 128', 
           '2016, 11': '153, 154, 192', '2016, 12': '153, 155, 0',
           '2017, 1': '153, 155, 128', '2017, 2': '153, 155, 192', 
           '2017, 3': '153, 156, 0', '2017, 4': '153, 156, 64',
           '2017, 5': '153, 156, 128', '2017, 6': '153, 156, 192',
           '2017, 7': '153, 157, 0', '2017, 8': '153, 157, 64',
           '2017, 9': '153, 157, 128', '2017, 10': '153, 157, 192', 
           '2017, 11': '153, 158, 0', '2017, 12': '153, 158, 64', 
           '2018, 1': '153, 158, 192', '2018, 2': '153, 159, 0',
           '2018, 3': '153, 159, 64', '2018, 4': '153, 159, 128', 
           '2018, 5': '153, 159, 192', '2018, 6': '153, 160, 0',
           '2018, 7': '153, 160, 64', '2018, 8': '153, 160, 128',
           '2018, 9': '153, 160, 192', '2018, 10': '153, 161, 0', 
           '2018, 11': '153, 161, 64', '2018, 12': '153, 161, 128',
           '2019, 1': '153, 162, 0', '2019, 2': '153, 162, 64', 
           '2019, 3': '153, 162, 128', '2019, 4': '153, 162, 192', 
           '2019, 5': '153, 163, 0', '2019, 6': '153, 163, 64',
           '2019, 7': '153, 163, 128', '2019, 8': '153, 163, 192',
           '2019, 9': '153, 164, 0', '2019, 10': '153, 164, 64', 
           '2019, 11': '153, 164, 128', '2019, 12': '153, 164, 192',
           '2020, 1': '153, 165, 64', '2020, 2': '153, 165, 128',
           '2020, 3': '153, 165, 192','2020, 4': '153, 166, 0', 
           '2020, 5': '153, 166, 64', '2020, 6': '153, 1, 128',
           '2020, 7': '153, 166, 192', '2020, 8': '153, 167, 0', 
           '2020, 9': '153, 167, 64','2020, 10': '153, 167, 128',
           '2020, 11': '153, 167, 192', '2020, 12': '153, 168, 0'}

def year_month(x1, x2):  # {x,X,X,x,x }

    for key, value in ym_list.items():
        key = [int(k) for k in key.replace("'", "").split(", ")]
        value = [int(v) for v in value.split(", ")]
        if x1 == value[1] and x2 // 64 == value[2] // 64:
            return key
    return 0, 0

ຂ້າ​ພະ​ເຈົ້າ​ແນ່​ໃຈວ່​າ​ຖ້າ​ຫາກ​ວ່າ​ທ່ານ​ໃຊ້​ເວ​ລາ n ຈໍາ​ນວນ​ຂອງ​ທີ່​ໃຊ້​ເວ​ລາ​, ຄວາມ​ເຂົ້າ​ໃຈ​ຜິດ​ນີ້​ສາ​ມາດ​ແກ້​ໄຂ​ໄດ້​.
ຕໍ່ໄປ, ຟັງຊັນທີ່ສົ່ງຄືນວັດຖຸວັນທີຈາກສະຕຣິງ. ສະຄຣິບ:

def find_data_time(val:str):
    val = [int(v) for v in val.split(", ")]
    day = day_(val[2])
    hour = hour_(val[2], val[3])
    minutes = min_(val[3], val[4])
    year, month = year_month(val[1], val[2])
    return datetime(year, month, day, hour, minutes)

ຈັດການເພື່ອກວດພົບຄ່າທີ່ຊ້ໍາກັນເລື້ອຍໆຈາກ int, int, datetime, datetime , ມັນເບິ່ງຄືວ່ານີ້ແມ່ນສິ່ງທີ່ທ່ານຕ້ອງການ. ຍິ່ງໄປກວ່ານັ້ນ, ລໍາດັບດັ່ງກ່າວບໍ່ໄດ້ຖືກຊ້ໍາສອງຄັ້ງຕໍ່ແຖວ.

ການນໍາໃຊ້ການສະແດງອອກປົກກະຕິ, ພວກເຮົາຊອກຫາຂໍ້ມູນທີ່ຈໍາເປັນ:

fined = re.findall(r'128, d*, d*, d*, 128, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*', int_array)

ກະລຸນາຮັບຊາບວ່າເມື່ອຄົ້ນຫາໂດຍໃຊ້ການສະແດງອອກນີ້, ມັນຈະບໍ່ສາມາດກໍານົດຄ່າ NULL ໃນຊ່ອງຂໍ້ມູນທີ່ຕ້ອງການ, ແຕ່ໃນກໍລະນີຂອງຂ້ອຍນີ້ບໍ່ສໍາຄັນ. ຫຼັງຈາກນັ້ນ, ພວກເຮົາໄປໂດຍຜ່ານສິ່ງທີ່ພວກເຮົາພົບເຫັນຢູ່ໃນ loop ເປັນ. ສະຄຣິບ:

result = []
for val in fined:
    pre_result = []
    bd_int  = re.findall(r"128, d*, d*, d*", val)
    bd_date= re.findall(r"(153, 1[6,5,4,3]d, d*, d*, d*)", val)
    for it in bd_int:
        pre_result.append(find_int(bd_int[it]))
    for bd in bd_date:
        pre_result.append(find_data_time(bd))
    result.append(pre_result)

ໃນຄວາມເປັນຈິງ, ນັ້ນແມ່ນທັງຫມົດ, ຂໍ້ມູນຈາກ array ຜົນໄດ້ຮັບແມ່ນຂໍ້ມູນທີ່ພວກເຮົາຕ້ອງການ. ###PS.###
ຂ້າພະເຈົ້າເຂົ້າໃຈວ່າວິທີການນີ້ບໍ່ເຫມາະສົມສໍາລັບທຸກຄົນ, ແຕ່ເປົ້າຫມາຍຕົ້ນຕໍຂອງບົດຄວາມແມ່ນເພື່ອກະຕຸ້ນເຕືອນແທນທີ່ຈະແກ້ໄຂບັນຫາທັງຫມົດຂອງທ່ານ. ຂ້າ​ພະ​ເຈົ້າ​ຄິດ​ວ່າ​ການ​ແກ້​ໄຂ​ທີ່​ຖືກ​ຕ້ອງ​ທີ່​ສຸດ​ແມ່ນ​ການ​ເລີ່ມ​ຕົ້ນ​ການ​ສຶກ​ສາ​ລະ​ຫັດ​ແຫຼ່ງ​ຕົວ​ທ່ານ​ເອງ​ mariadb, ແຕ່ເນື່ອງຈາກເວລາຈໍາກັດ, ວິທີການໃນປະຈຸບັນເບິ່ງຄືວ່າໄວທີ່ສຸດ.

ໃນບາງກໍລະນີ, ຫຼັງຈາກການວິເຄາະໄຟລ໌, ທ່ານຈະສາມາດກໍານົດໂຄງສ້າງໂດຍປະມານແລະຟື້ນຟູມັນໂດຍໃຊ້ຫນຶ່ງໃນວິທີການມາດຕະຖານຈາກການເຊື່ອມຕໍ່ຂ້າງເທິງ. ນີ້ຈະຖືກຕ້ອງຫຼາຍ ແລະເຮັດໃຫ້ເກີດບັນຫາໜ້ອຍລົງ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com