🥇 ibd फाइलको बाइट-द्वारा-बाइट विश्लेषण प्रयोग गरेर संरचना फाइल बिना XtraDB तालिकाहरूबाट डाटा रिकभरी। प्रोहोस्टर

प्रागितिहास

यो यस्तो भयो कि सर्भरलाई ransomware भाइरसले आक्रमण गरेको थियो, जसले "भाग्यशाली दुर्घटना" द्वारा आंशिक रूपमा .ibd फाइलहरू (innodb टेबलहरूको कच्चा डाटा फाइलहरू) अछूता छोड्यो, तर एकै समयमा .fpm फाइलहरू पूर्ण रूपमा इन्क्रिप्ट गरियो (। संरचना फाइलहरू)। यस अवस्थामा, .idb लाई विभाजित गर्न सकिन्छ:

मानक उपकरण र गाइडहरू मार्फत पुनर्स्थापनाको विषय। यस्तो अवस्थामा, त्यहाँ एक उत्कृष्ट छ बन्नु;
आंशिक रूपमा एन्क्रिप्टेड तालिकाहरू। प्रायः यी ठूला टेबलहरू हुन्, जसको लागि (मैले बुझेको छु) आक्रमणकारीहरूसँग पूर्ण इन्क्रिप्शनको लागि पर्याप्त RAM थिएन;
ठीक छ, पूर्ण रूपमा इन्क्रिप्टेड तालिकाहरू जुन पुनर्स्थापना गर्न सकिँदैन।

कुनै पनि पाठ सम्पादकमा वांछित एन्कोडिङ (मेरो केसमा यो UTF8 हो) अन्तर्गत खोलेर टेबलहरू कुन विकल्पसँग सम्बन्धित छन् भनेर निर्धारण गर्न सम्भव थियो र पाठ क्षेत्रहरूको उपस्थितिको लागि फाइल हेर्दै, उदाहरणका लागि:

साथै, फाइलको सुरुमा तपाईले ठूलो संख्यामा ० बाइटहरू अवलोकन गर्न सक्नुहुन्छ, र ब्लक एन्क्रिप्शन एल्गोरिथ्म (सबैभन्दा सामान्य) प्रयोग गर्ने भाइरसहरूले सामान्यतया तिनीहरूलाई पनि असर गर्छ।

मेरो मामलामा, आक्रमणकारीहरूले प्रत्येक इन्क्रिप्टेड फाइलको अन्त्यमा 4-बाइट स्ट्रिङ (1, 0, 0, 0) छोडे, जसले कार्यलाई सरल बनायो। सङ्क्रमित फाइलहरू खोज्नको लागि, स्क्रिप्ट पर्याप्त थियो:

def opened(path):
    files = os.listdir(path)
    for f in files:
        if os.path.isfile(path + f):
            yield path + f

for full_path in opened("C:somepath"):
    file = open(full_path, "rb")
    last_string = ""
    for line in file:
        last_string = line
        file.close()
    if (last_string[len(last_string) -4:len(last_string)]) != (1, 0, 0, 0):
        print(full_path)

यसरी, यो पहिलो प्रकारका फाइलहरू फेला पार्न थाल्यो। दोस्रोमा धेरै म्यानुअल कामहरू समावेश छन्, तर के फेला पर्यो पहिले नै पर्याप्त थियो। सबै कुरा ठीक हुनेछ, तर तपाईंले जान्न आवश्यक छ बिल्कुल सटीक संरचना र (निस्सन्देह) एउटा केस आयो कि मैले बारम्बार परिवर्तन गर्ने तालिकासँग काम गर्नुपर्‍यो। फिल्ड प्रकार परिवर्तन भएको वा नयाँ स्तम्भ थपिएको हो कि भनेर कसैलाई याद छैन।

वाइल्ड्स सिटी, दुर्भाग्यवश, यस्तो अवस्थामा मद्दत गर्न सकेन, त्यसैले यो लेख लेखिएको छ।

बिन्दुमा पुग्नुहोस्

त्यहाँ 3 महिना अघिको तालिकाको संरचना छ जुन हालको एकसँग मेल खाँदैन (सम्भवतः एउटा क्षेत्र, र सम्भवतः थप)। तालिका संरचना:

CREATE TABLE `table_1` (
    `id` INT (11),
    `date` DATETIME ,
    `description` TEXT ,
    `id_point` INT (11),
    `id_user` INT (11),
    `date_start` DATETIME ,
    `date_finish` DATETIME ,
    `photo` INT (1),
    `id_client` INT (11),
    `status` INT (1),
    `lead__time` TIME ,
    `sendstatus` TINYINT (4)
);

यस अवस्थामा, तपाईंले निकाल्न आवश्यक छ:

id_point int(11);
id_user int(11);
date_start मिति समय;
date_finish मिति समय।

पुन:प्राप्तिको लागि, .ibd फाइलको बाइट-द्वारा-बाइट विश्लेषण प्रयोग गरिन्छ, त्यसपछि तिनीहरूलाई थप पढ्न योग्य फारममा रूपान्तरण गरेर। हामीलाई चाहिने कुराहरू फेला पार्नको लागि, हामीले केवल डेटा प्रकारहरू जस्तै int र datatime विश्लेषण गर्न आवश्यक छ, लेखले तिनीहरूलाई मात्र वर्णन गर्नेछ, तर कहिलेकाहीँ हामी अन्य डेटा प्रकारहरूलाई पनि सन्दर्भ गर्नेछौं, जसले अन्य समान घटनाहरूमा मद्दत गर्न सक्छ।

समस्या १: DATETIME र TEXT प्रकारका क्षेत्रहरूमा NULL मानहरू थिए, र तिनीहरू फाइलमा मात्र छाडिएका छन्, यस कारणले गर्दा, मेरो मामलामा पुनर्स्थापना गर्ने संरचना निर्धारण गर्न सम्भव थिएन। नयाँ स्तम्भहरूमा, पूर्वनिर्धारित मान शून्य थियो, र innodb_flush_log_at_trx_commit = 0 सेटिङका कारण लेनदेनको अंश हराउन सक्छ, त्यसैले संरचना निर्धारण गर्न थप समय खर्च गर्नुपर्नेछ।

समस्या १: यो ध्यानमा राख्नुपर्छ कि DELETE मार्फत मेटाइएका पङ्क्तिहरू सबै ibd फाइलमा हुनेछन्, तर ALTER TABLE सँग तिनीहरूको संरचना अद्यावधिक हुनेछैन। नतिजाको रूपमा, डाटा संरचना फाइलको सुरुदेखि यसको अन्त्यसम्म फरक हुन सक्छ। यदि तपाइँ प्राय: अप्टिमाइज टेबल प्रयोग गर्नुहुन्छ भने, तपाइँले यस्तो समस्या सामना गर्ने सम्भावना छैन।

ध्यान दिनुहोस्, DBMS संस्करणले डेटा भण्डारण गर्ने तरिकालाई असर गर्छ, र यो उदाहरणले अन्य प्रमुख संस्करणहरूमा काम नगर्न सक्छ। मेरो केसमा, mariadb 10.1.24 को Windows संस्करण प्रयोग गरिएको थियो। साथै, यद्यपि mariadb मा तपाईले InnoDB टेबलहरूसँग काम गर्नुहुन्छ, वास्तवमा तिनीहरू हुन् XtraDB, जसले InnoDB mysql सँग विधिको प्रयोज्यतालाई समावेश गर्दैन।

फाइल विश्लेषण

पाइथनमा, डेटा प्रकार बाइट्स() सङ्ख्याहरूको नियमित सेटको सट्टामा युनिकोड डाटा प्रदर्शन गर्दछ। यद्यपि तपाइँ यस फारममा फाइल हेर्न सक्नुहुन्छ, सुविधाको लागि तपाइँ बाइट एरेलाई नियमित एरे (सूची(उदाहरण_बाइट_एरे)) मा रूपान्तरण गरेर बाइटहरूलाई संख्यात्मक फारममा रूपान्तरण गर्न सक्नुहुन्छ। कुनै पनि अवस्थामा, दुवै विधिहरू विश्लेषणको लागि उपयुक्त छन्।

धेरै ibd फाइलहरू हेरेपछि, तपाईंले निम्न फेला पार्न सक्नुहुन्छ:

यसबाहेक, यदि तपाईंले फाइललाई यी कुञ्जी शब्दहरूद्वारा विभाजित गर्नुभयो भने, तपाईंले प्रायः डाटाको ब्लकहरू पनि पाउनुहुनेछ। हामी इन्फिममलाई भाजकको रूपमा प्रयोग गर्नेछौं।

table = table.split("infimum".encode())

एक चाखलाग्दो अवलोकन: डेटाको सानो मात्राको साथ तालिकाहरूको लागि, infimum र supremum बीच ब्लकमा पङ्क्तिहरूको संख्यामा एक सूचक छ।

- पहिलो पङ्क्ति संग परीक्षण तालिका

- 2 पङ्क्तिहरु संग परीक्षण तालिका

पङ्क्ति एरे तालिका[0] छोड्न सकिन्छ। यसलाई हेरे पछि, म अझै पनि कच्चा तालिका डाटा फेला पार्न असमर्थ थिए। सम्भवतः, यो ब्लक अनुक्रमणिका र कुञ्जीहरू भण्डारण गर्न प्रयोग गरिन्छ।
तालिका[1] बाट सुरु गरेर र यसलाई संख्यात्मक एरेमा अनुवाद गर्दै, तपाईंले पहिले नै केही ढाँचाहरू देख्न सक्नुहुन्छ, अर्थात्:

यी स्ट्रिङमा भण्डारण गरिएका int मानहरू हुन्। पहिलो बाइटले सङ्ख्या सकारात्मक वा ऋणात्मक हो भनेर संकेत गर्छ। मेरो मामला मा, सबै संख्या सकारात्मक छन्। बाँकी 3 बाइट्सबाट, तपाइँ निम्न प्रकार्य प्रयोग गरेर नम्बर निर्धारण गर्न सक्नुहुन्छ। लिपि:

def find_int(val: str):  # example '128, 1, 2, 3'
    val = [int(v) for v in  val.split(", ")]
    result_int = val[1]*256**2 + val[2]*256*1 + val[3]
    return result_int

उदाहरणका लागि, १२८, ०, ०, १ = १, वा १२८, ०, ०, १ = १.
तालिकामा स्वतः वृद्धि भएको प्राथमिक कुञ्जी थियो, र यो यहाँ पनि फेला पार्न सकिन्छ

परीक्षण तालिकाहरूबाट डेटा तुलना गरिसकेपछि, यो प्रकट भयो कि DATETIME वस्तु 5 बाइटहरू समावेश गर्दछ र 153 (सम्भवतः वार्षिक अन्तरालहरू संकेत गर्दछ) बाट सुरु भयो। DATTIME दायरा '1000-01-01' देखि '9999-12-31' सम्म भएकोले, मलाई लाग्छ बाइटहरूको संख्या फरक हुन सक्छ, तर मेरो मामलामा, डाटा 2016 देखि 2019 सम्मको अवधिमा आउँछ, त्यसैले हामी मान्नेछौं। त्यो 5 बाइट पर्याप्त छ।

सेकेन्ड बिना समय निर्धारण गर्न, निम्न प्रकार्यहरू लेखिएका थिए। लिपि:

day_ = lambda x: x % 64 // 2  # {x,x,X,x,x }

def hour_(x1, x2):  # {x,x,X1,X2,x}
    if x1 % 2 == 0:
        return x2 // 16
    elif x1 % 2 == 1:
        return x2 // 16 + 16
    else:
        raise ValueError

min_ = lambda x1, x2: (x1 % 16) * 4 + (x2 // 64)  # {x,x,x,X1,X2}

वर्ष र महिनाको लागि कार्यात्मक प्रकार्य लेख्न सम्भव थिएन, त्यसैले मैले यसलाई ह्याक गर्नुपर्‍यो। लिपि:

ym_list = {'2016, 1': '153, 152, 64', '2016, 2': '153, 152, 128', 
           '2016, 3': '153, 152, 192', '2016, 4': '153, 153, 0',
           '2016, 5': '153, 153, 64', '2016, 6': '153, 153, 128', 
           '2016, 7': '153, 153, 192', '2016, 8': '153, 154, 0', 
           '2016, 9': '153, 154, 64', '2016, 10': '153, 154, 128', 
           '2016, 11': '153, 154, 192', '2016, 12': '153, 155, 0',
           '2017, 1': '153, 155, 128', '2017, 2': '153, 155, 192', 
           '2017, 3': '153, 156, 0', '2017, 4': '153, 156, 64',
           '2017, 5': '153, 156, 128', '2017, 6': '153, 156, 192',
           '2017, 7': '153, 157, 0', '2017, 8': '153, 157, 64',
           '2017, 9': '153, 157, 128', '2017, 10': '153, 157, 192', 
           '2017, 11': '153, 158, 0', '2017, 12': '153, 158, 64', 
           '2018, 1': '153, 158, 192', '2018, 2': '153, 159, 0',
           '2018, 3': '153, 159, 64', '2018, 4': '153, 159, 128', 
           '2018, 5': '153, 159, 192', '2018, 6': '153, 160, 0',
           '2018, 7': '153, 160, 64', '2018, 8': '153, 160, 128',
           '2018, 9': '153, 160, 192', '2018, 10': '153, 161, 0', 
           '2018, 11': '153, 161, 64', '2018, 12': '153, 161, 128',
           '2019, 1': '153, 162, 0', '2019, 2': '153, 162, 64', 
           '2019, 3': '153, 162, 128', '2019, 4': '153, 162, 192', 
           '2019, 5': '153, 163, 0', '2019, 6': '153, 163, 64',
           '2019, 7': '153, 163, 128', '2019, 8': '153, 163, 192',
           '2019, 9': '153, 164, 0', '2019, 10': '153, 164, 64', 
           '2019, 11': '153, 164, 128', '2019, 12': '153, 164, 192',
           '2020, 1': '153, 165, 64', '2020, 2': '153, 165, 128',
           '2020, 3': '153, 165, 192','2020, 4': '153, 166, 0', 
           '2020, 5': '153, 166, 64', '2020, 6': '153, 1, 128',
           '2020, 7': '153, 166, 192', '2020, 8': '153, 167, 0', 
           '2020, 9': '153, 167, 64','2020, 10': '153, 167, 128',
           '2020, 11': '153, 167, 192', '2020, 12': '153, 168, 0'}

def year_month(x1, x2):  # {x,X,X,x,x }

    for key, value in ym_list.items():
        key = [int(k) for k in key.replace("'", "").split(", ")]
        value = [int(v) for v in value.split(", ")]
        if x1 == value[1] and x2 // 64 == value[2] // 64:
            return key
    return 0, 0

म निश्चित छु कि यदि तपाईंले समय खर्च गर्नुभयो भने, यो गलतफहमी सच्याउन सकिन्छ।
अर्को, स्ट्रिङबाट datetime वस्तु फर्काउने प्रकार्य। लिपि:

def find_data_time(val:str):
    val = [int(v) for v in val.split(", ")]
    day = day_(val[2])
    hour = hour_(val[2], val[3])
    minutes = min_(val[3], val[4])
    year, month = year_month(val[1], val[2])
    return datetime(year, month, day, hour, minutes)

int, int, datetime, datetime बाट बारम्बार दोहोरिने मानहरू पत्ता लगाउन व्यवस्थित , यो तपाईलाई चाहिने कुरा हो जस्तो देखिन्छ। यसबाहेक, यस्तो अनुक्रम प्रति रेखा दुई पटक दोहोर्याइएको छैन।

नियमित अभिव्यक्ति प्रयोग गरेर, हामी आवश्यक डाटा फेला पार्छौं:

fined = re.findall(r'128, d*, d*, d*, 128, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*', int_array)

कृपया ध्यान दिनुहोस् कि यो अभिव्यक्ति प्रयोग गरेर खोजी गर्दा, आवश्यक क्षेत्रहरूमा NULL मानहरू निर्धारण गर्न सम्भव छैन, तर मेरो मामलामा यो महत्वपूर्ण छैन। त्यसपछि हामी लूपमा फेला परेको मार्फत जान्छौं। लिपि:

result = []
for val in fined:
    pre_result = []
    bd_int  = re.findall(r"128, d*, d*, d*", val)
    bd_date= re.findall(r"(153, 1[6,5,4,3]d, d*, d*, d*)", val)
    for it in bd_int:
        pre_result.append(find_int(bd_int[it]))
    for bd in bd_date:
        pre_result.append(find_data_time(bd))
    result.append(pre_result)

वास्तवमा, यो सबै हो, नतिजा एर्रेबाट डाटा हामीलाई चाहिने डाटा हो। ###PS।###
म बुझ्छु कि यो विधि सबैका लागि उपयुक्त छैन, तर लेखको मुख्य लक्ष्य तपाईको सबै समस्याहरू समाधान गर्नुको सट्टा तत्काल कार्य गर्नु हो। मलाई लाग्छ कि सबैभन्दा सही समाधान भनेको स्रोत कोड आफैं अध्ययन गर्न सुरु गर्नु हो मारियाडबतर, सीमित समयका कारण हालको विधि सबैभन्दा छिटो हुने देखिन्छ ।

केही अवस्थामा, फाइल विश्लेषण पछि, तपाईं अनुमानित संरचना निर्धारण गर्न र माथिको लिङ्कहरूबाट मानक विधिहरू मध्ये एक प्रयोग गरेर यसलाई पुनर्स्थापना गर्न सक्षम हुनुहुनेछ। यो धेरै सही हुनेछ र कम समस्याहरू उत्पन्न हुनेछ।

स्रोत: www.habr.com

ibd फाइलको बाइट-द्वारा-बाइट विश्लेषण प्रयोग गरेर संरचना फाइल बिना XtraDB तालिकाहरूबाट डाटा पुन: प्राप्ति गर्दै

प्रागितिहास

बिन्दुमा पुग्नुहोस्

फाइल विश्लेषण

एक टिप्पणी थप्न Отменить ответ