ibd ফাইলের বাইট-বাই-বাইট বিশ্লেষণ ব্যবহার করে কাঠামো ফাইল ছাড়াই XtraDB টেবিল থেকে ডেটা পুনরুদ্ধার করা

প্রাগঐতিহাসিক

এটি এমন হয়েছিল যে সার্ভারটি একটি র্যানসমওয়্যার ভাইরাস দ্বারা আক্রান্ত হয়েছিল, যা একটি "ভাগ্যবান দুর্ঘটনা" দ্বারা আংশিকভাবে .ibd ফাইলগুলিকে (innodb টেবিলের কাঁচা ডেটা ফাইলগুলি) অস্পর্শ রেখেছিল, কিন্তু একই সাথে .fpm ফাইলগুলিকে সম্পূর্ণরূপে এনক্রিপ্ট করেছে ( গঠন ফাইল)। এই ক্ষেত্রে, .idb কে ভাগ করা যেতে পারে:

• স্ট্যান্ডার্ড টুলস এবং গাইডের মাধ্যমে পুনরুদ্ধার সাপেক্ষে। এই ধরনের ক্ষেত্রে, একটি চমৎকার আছে হয়ে;
• আংশিকভাবে এনক্রিপ্ট করা টেবিল। বেশিরভাগই এগুলি বড় টেবিল, যার জন্য (যেমন আমি বুঝি) আক্রমণকারীদের সম্পূর্ণ এনক্রিপশনের জন্য পর্যাপ্ত RAM ছিল না;
• ভাল, সম্পূর্ণরূপে এনক্রিপ্ট করা টেবিল যা পুনরুদ্ধার করা যাবে না।

পছন্দসই এনকোডিং (আমার ক্ষেত্রে এটি UTF8) এর অধীনে যেকোন টেক্সট এডিটরে খোলার মাধ্যমে এবং টেক্সট ফিল্ডের উপস্থিতির জন্য ফাইলটি দেখার মাধ্যমে টেবিলগুলি কোন বিকল্পের অন্তর্গত তা নির্ধারণ করা সম্ভব ছিল, উদাহরণস্বরূপ:

এছাড়াও, ফাইলের শুরুতে আপনি প্রচুর সংখ্যক 0 বাইট পর্যবেক্ষণ করতে পারেন এবং ব্লক এনক্রিপশন অ্যালগরিদম (সবচেয়ে সাধারণ) ব্যবহার করে এমন ভাইরাসগুলি সাধারণত তাদেরও প্রভাবিত করে।

আমার ক্ষেত্রে, আক্রমণকারীরা প্রতিটি এনক্রিপ্ট করা ফাইলের শেষে একটি 4-বাইট স্ট্রিং (1, 0, 0, 0) রেখেছিল, যা কাজটিকে সরল করেছে। অসংক্রমিত ফাইলগুলি অনুসন্ধান করার জন্য, স্ক্রিপ্টটি যথেষ্ট ছিল:

def opened(path):
    files = os.listdir(path)
    for f in files:
        if os.path.isfile(path + f):
            yield path + f

for full_path in opened("C:somepath"):
    file = open(full_path, "rb")
    last_string = ""
    for line in file:
        last_string = line
        file.close()
    if (last_string[len(last_string) -4:len(last_string)]) != (1, 0, 0, 0):
        print(full_path)

এইভাবে, এটি প্রথম ধরণের ফাইলগুলি খুঁজে বের করে। দ্বিতীয়টিতে প্রচুর ম্যানুয়াল কাজ জড়িত, তবে যা পাওয়া গেছে তা ইতিমধ্যে যথেষ্ট ছিল। সবকিছু ঠিক হবে, কিন্তু আপনি জানতে হবে একেবারে সুনির্দিষ্ট কাঠামো এবং (অবশ্যই) একটি কেস উঠেছিল যে আমাকে ঘন ঘন পরিবর্তন করা টেবিলের সাথে কাজ করতে হয়েছিল। ক্ষেত্রের ধরন পরিবর্তন করা হয়েছে বা একটি নতুন কলাম যোগ করা হয়েছে কিনা তা কেউ মনে রাখেনি।

Wilds City, দুর্ভাগ্যবশত, এই ধরনের একটি ক্ষেত্রে সাহায্য করতে পারেনি, এই কারণেই এই নিবন্ধটি লেখা হচ্ছে।

বিন্দু পেতে

3 মাস আগে থেকে একটি টেবিলের একটি কাঠামো রয়েছে যা বর্তমানের (সম্ভবত একটি ক্ষেত্র এবং সম্ভবত আরও বেশি) এর সাথে মেলে না। টেবিল গঠন:

CREATE TABLE `table_1` (
    `id` INT (11),
    `date` DATETIME ,
    `description` TEXT ,
    `id_point` INT (11),
    `id_user` INT (11),
    `date_start` DATETIME ,
    `date_finish` DATETIME ,
    `photo` INT (1),
    `id_client` INT (11),
    `status` INT (1),
    `lead__time` TIME ,
    `sendstatus` TINYINT (4)
); 

এই ক্ষেত্রে, আপনাকে নিষ্কাশন করতে হবে:

• id_point int(11);
• id_user int(11);
• date_start তারিখ সময়;
• date_finish তারিখ সময়.

পুনরুদ্ধারের জন্য, .ibd ফাইলের একটি বাইট-বাই-বাইট বিশ্লেষণ ব্যবহার করা হয়, তারপরে সেগুলোকে আরও পাঠযোগ্য আকারে রূপান্তর করা হয়। যেহেতু আমাদের যা প্রয়োজন তা খুঁজে বের করার জন্য, আমাদের কেবলমাত্র int এবং ডেটাটাইমের মতো ডেটা প্রকারগুলি বিশ্লেষণ করতে হবে, নিবন্ধটি কেবল তাদের বর্ণনা করবে, তবে কখনও কখনও আমরা অন্যান্য ডেটা প্রকারগুলিও উল্লেখ করব, যা অন্যান্য অনুরূপ ঘটনাগুলিতে সহায়তা করতে পারে।

সমস্যা 1: DATETIME এবং TEXT প্রকারের ক্ষেত্রের শূন্য মান ছিল, এবং সেগুলি কেবল ফাইলে এড়িয়ে গেছে, এই কারণে, আমার ক্ষেত্রে পুনরুদ্ধার করার জন্য কাঠামো নির্ধারণ করা সম্ভব ছিল না। নতুন কলামগুলিতে, ডিফল্ট মানটি শূন্য ছিল, এবং innodb_flush_log_at_trx_commit = 0 সেটিং করার কারণে লেনদেনের অংশ হারিয়ে যেতে পারে, তাই কাঠামো নির্ধারণ করতে অতিরিক্ত সময় ব্যয় করতে হবে।

সমস্যা 2: এটি বিবেচনায় নেওয়া উচিত যে DELETE এর মাধ্যমে মুছে ফেলা সারিগুলি সবই ibd ফাইলে থাকবে, তবে ALTER TABLE এর সাথে তাদের কাঠামো আপডেট করা হবে না। ফলস্বরূপ, ডেটা কাঠামো ফাইলের শুরু থেকে শেষ পর্যন্ত পরিবর্তিত হতে পারে। আপনি যদি প্রায়ই অপ্টিমাইজ টেবিল ব্যবহার করেন, তাহলে আপনার এই ধরনের সমস্যার সম্মুখীন হওয়ার সম্ভাবনা নেই।

মনোযোগ দাও, DBMS সংস্করণ ডেটা সংরক্ষণের উপায়কে প্রভাবিত করে এবং এই উদাহরণটি অন্যান্য বড় সংস্করণের জন্য কাজ নাও করতে পারে। আমার ক্ষেত্রে, mariadb 10.1.24 এর উইন্ডোজ সংস্করণ ব্যবহার করা হয়েছিল। এছাড়াও, যদিও mariadb-এ আপনি InnoDB টেবিলের সাথে কাজ করেন, আসলে সেগুলি এক্সট্রাডিবি, যা InnoDB mysql-এর সাথে পদ্ধতির প্রযোজ্যতা বাদ দেয়।

ফাইল বিশ্লেষণ

পাইথনে, ডাটা টাইপ বাইট() সংখ্যার নিয়মিত সেটের জায়গায় ইউনিকোড ডেটা প্রদর্শন করে। যদিও আপনি এই ফর্মটিতে ফাইলটি দেখতে পারেন, সুবিধার জন্য আপনি বাইট অ্যারেকে একটি নিয়মিত অ্যারেতে রূপান্তর করে বাইটগুলিকে সাংখ্যিক আকারে রূপান্তর করতে পারেন (তালিকা(উদাহরণ_বাইট_অ্যারে))। যে কোনও ক্ষেত্রে, উভয় পদ্ধতিই বিশ্লেষণের জন্য উপযুক্ত।

বেশ কয়েকটি আইবিডি ফাইল দেখার পরে, আপনি নিম্নলিখিতগুলি খুঁজে পেতে পারেন:

তদুপরি, আপনি যদি এই কীওয়ার্ডগুলি দ্বারা ফাইলটিকে ভাগ করেন তবে আপনি বেশিরভাগ ডেটার ব্লকও পাবেন। আমরা একটি ভাজক হিসাবে infimum ব্যবহার করব.

table = table.split("infimum".encode())

একটি আকর্ষণীয় পর্যবেক্ষণ: অল্প পরিমাণ ডেটা সহ টেবিলের জন্য, ইনফিমাম এবং সর্বোচ্চের মধ্যে ব্লকের সারিগুলির সংখ্যার জন্য একটি নির্দেশক রয়েছে।

— ১ম সারি সহ পরীক্ষার টেবিল

- 2 সারি সহ পরীক্ষার টেবিল

সারি অ্যারে টেবিল[0] এড়িয়ে যেতে পারে। এটি দেখার পরে, আমি এখনও কাঁচা টেবিলের ডেটা খুঁজে পাইনি। সম্ভবত, এই ব্লকটি সূচী এবং কী সংরক্ষণ করতে ব্যবহৃত হয়।
টেবিল[1] দিয়ে শুরু করে এবং এটিকে একটি সংখ্যাসূচক অ্যারেতে অনুবাদ করে, আপনি ইতিমধ্যে কিছু নিদর্শন লক্ষ্য করতে পারেন, যথা:

এগুলি একটি স্ট্রিংয়ে সংরক্ষিত int মান। প্রথম বাইট নির্দেশ করে যে সংখ্যাটি ধনাত্মক না ঋণাত্মক। আমার ক্ষেত্রে, সমস্ত সংখ্যা ইতিবাচক। অবশিষ্ট 3 বাইট থেকে, আপনি নিম্নলিখিত ফাংশন ব্যবহার করে সংখ্যা নির্ধারণ করতে পারেন। লিপি:

def find_int(val: str):  # example '128, 1, 2, 3'
    val = [int(v) for v in  val.split(", ")]
    result_int = val[1]*256**2 + val[2]*256*1 + val[3]
    return result_int

উদাহরণস্বরূপ, 128, 0, 0, 1 = 1অথবা 128, 0, 75, 108 = 19308.
টেবিলে স্বয়ংক্রিয় বৃদ্ধি সহ একটি প্রাথমিক কী ছিল এবং এটি এখানেও পাওয়া যাবে

পরীক্ষার টেবিল থেকে ডেটা তুলনা করার পরে, এটি প্রকাশিত হয়েছিল যে DATETIME অবজেক্টটি 5 বাইট নিয়ে গঠিত এবং 153 দিয়ে শুরু হয়েছিল (সম্ভবত বার্ষিক ব্যবধান নির্দেশ করে)। যেহেতু DATTIME পরিসর '1000-01-01' থেকে '9999-12-31', আমি মনে করি বাইটের সংখ্যা পরিবর্তিত হতে পারে, তবে আমার ক্ষেত্রে, ডেটা 2016 থেকে 2019 পর্যন্ত সময়ের মধ্যে পড়ে, তাই আমরা ধরে নেব যে 5 বাইট যথেষ্ট.

সেকেন্ড ছাড়া সময় নির্ধারণ করতে, নিম্নলিখিত ফাংশন লেখা ছিল। লিপি:

day_ = lambda x: x % 64 // 2  # {x,x,X,x,x }

def hour_(x1, x2):  # {x,x,X1,X2,x}
    if x1 % 2 == 0:
        return x2 // 16
    elif x1 % 2 == 1:
        return x2 // 16 + 16
    else:
        raise ValueError

min_ = lambda x1, x2: (x1 % 16) * 4 + (x2 // 64)  # {x,x,x,X1,X2}

বছর এবং মাসের জন্য একটি কার্যকরী ফাংশন লেখা সম্ভব ছিল না, তাই আমাকে এটি হ্যাক করতে হয়েছিল। লিপি:

ym_list = {'2016, 1': '153, 152, 64', '2016, 2': '153, 152, 128', 
           '2016, 3': '153, 152, 192', '2016, 4': '153, 153, 0',
           '2016, 5': '153, 153, 64', '2016, 6': '153, 153, 128', 
           '2016, 7': '153, 153, 192', '2016, 8': '153, 154, 0', 
           '2016, 9': '153, 154, 64', '2016, 10': '153, 154, 128', 
           '2016, 11': '153, 154, 192', '2016, 12': '153, 155, 0',
           '2017, 1': '153, 155, 128', '2017, 2': '153, 155, 192', 
           '2017, 3': '153, 156, 0', '2017, 4': '153, 156, 64',
           '2017, 5': '153, 156, 128', '2017, 6': '153, 156, 192',
           '2017, 7': '153, 157, 0', '2017, 8': '153, 157, 64',
           '2017, 9': '153, 157, 128', '2017, 10': '153, 157, 192', 
           '2017, 11': '153, 158, 0', '2017, 12': '153, 158, 64', 
           '2018, 1': '153, 158, 192', '2018, 2': '153, 159, 0',
           '2018, 3': '153, 159, 64', '2018, 4': '153, 159, 128', 
           '2018, 5': '153, 159, 192', '2018, 6': '153, 160, 0',
           '2018, 7': '153, 160, 64', '2018, 8': '153, 160, 128',
           '2018, 9': '153, 160, 192', '2018, 10': '153, 161, 0', 
           '2018, 11': '153, 161, 64', '2018, 12': '153, 161, 128',
           '2019, 1': '153, 162, 0', '2019, 2': '153, 162, 64', 
           '2019, 3': '153, 162, 128', '2019, 4': '153, 162, 192', 
           '2019, 5': '153, 163, 0', '2019, 6': '153, 163, 64',
           '2019, 7': '153, 163, 128', '2019, 8': '153, 163, 192',
           '2019, 9': '153, 164, 0', '2019, 10': '153, 164, 64', 
           '2019, 11': '153, 164, 128', '2019, 12': '153, 164, 192',
           '2020, 1': '153, 165, 64', '2020, 2': '153, 165, 128',
           '2020, 3': '153, 165, 192','2020, 4': '153, 166, 0', 
           '2020, 5': '153, 166, 64', '2020, 6': '153, 1, 128',
           '2020, 7': '153, 166, 192', '2020, 8': '153, 167, 0', 
           '2020, 9': '153, 167, 64','2020, 10': '153, 167, 128',
           '2020, 11': '153, 167, 192', '2020, 12': '153, 168, 0'}

def year_month(x1, x2):  # {x,X,X,x,x }

    for key, value in ym_list.items():
        key = [int(k) for k in key.replace("'", "").split(", ")]
        value = [int(v) for v in value.split(", ")]
        if x1 == value[1] and x2 // 64 == value[2] // 64:
            return key
    return 0, 0

আমি নিশ্চিত যে আপনি যদি n পরিমাণ সময় ব্যয় করেন তবে এই ভুল বোঝাবুঝি সংশোধন করা যেতে পারে।
পরবর্তী, একটি ফাংশন যা একটি স্ট্রিং থেকে একটি datetime অবজেক্ট প্রদান করে। লিপি:

def find_data_time(val:str):
    val = [int(v) for v in val.split(", ")]
    day = day_(val[2])
    hour = hour_(val[2], val[3])
    minutes = min_(val[3], val[4])
    year, month = year_month(val[1], val[2])
    return datetime(year, month, day, hour, minutes)

int, int, datetime, datetime থেকে ঘন ঘন পুনরাবৃত্ত মান সনাক্ত করতে পরিচালিত , মনে হচ্ছে এটিই আপনার প্রয়োজন। তদুপরি, এই জাতীয় ক্রম প্রতি লাইনে দুবার পুনরাবৃত্তি হয় না।

একটি নিয়মিত অভিব্যক্তি ব্যবহার করে, আমরা প্রয়োজনীয় ডেটা খুঁজে পাই:

fined = re.findall(r'128, d*, d*, d*, 128, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*', int_array)

অনুগ্রহ করে মনে রাখবেন যে এই অভিব্যক্তিটি ব্যবহার করে অনুসন্ধান করার সময়, প্রয়োজনীয় ক্ষেত্রগুলিতে NULL মান নির্ধারণ করা সম্ভব হবে না, তবে আমার ক্ষেত্রে এটি সমালোচনামূলক নয়। তারপর আমরা একটি লুপ পাওয়া কি মাধ্যমে যান. লিপি:

result = []
for val in fined:
    pre_result = []
    bd_int  = re.findall(r"128, d*, d*, d*", val)
    bd_date= re.findall(r"(153, 1[6,5,4,3]d, d*, d*, d*)", val)
    for it in bd_int:
        pre_result.append(find_int(bd_int[it]))
    for bd in bd_date:
        pre_result.append(find_data_time(bd))
    result.append(pre_result)

প্রকৃতপক্ষে, এই সব, ফলাফল অ্যারে থেকে ডেটা হল আমাদের প্রয়োজনীয় ডেটা। ###পুনশ্চ.###
আমি বুঝতে পারি যে এই পদ্ধতিটি সবার জন্য উপযুক্ত নয়, তবে নিবন্ধটির মূল লক্ষ্য হল আপনার সমস্ত সমস্যার সমাধান না করে দ্রুত পদক্ষেপ নেওয়া। আমি মনে করি সবচেয়ে সঠিক সমাধান হবে সোর্স কোড নিজেই অধ্যয়ন করা শুরু করা mariadb, কিন্তু সীমিত সময়ের কারণে, বর্তমান পদ্ধতিটি দ্রুততম বলে মনে হচ্ছে।

কিছু ক্ষেত্রে, ফাইলটি বিশ্লেষণ করার পরে, আপনি আনুমানিক কাঠামো নির্ধারণ করতে এবং উপরের লিঙ্কগুলি থেকে একটি আদর্শ পদ্ধতি ব্যবহার করে এটি পুনরুদ্ধার করতে সক্ষম হবেন। এটি অনেক বেশি সঠিক হবে এবং কম সমস্যা সৃষ্টি করবে।

উত্স: www.habr.com