ibd 파일의 바이트별 분석을 사용하여 구조 파일 없이 XtraDB 테이블에서 데이터 복구

선사 시대

서버가 랜섬웨어 바이러스의 공격을 받았는데, "운이 좋은 사고"로 인해 .ibd 파일(innodb 테이블의 원시 데이터 파일)은 부분적으로 그대로 유지되었지만 동시에 .fpm 파일은 완전히 암호화되었습니다( 구조 파일). 이 경우 .idb는 다음과 같이 나눌 수 있습니다.

• 표준 도구 및 가이드를 통해 복원할 수 있습니다. 그러한 경우에는 우수한 ~이 되다;
• 부분적으로 암호화된 테이블. 대부분 이것들은 큰 테이블인데, (내가 이해하는 바에 따르면) 공격자는 전체 암호화를 위한 RAM이 충분하지 않았습니다.
• 복원할 수 없는 완전히 암호화된 테이블입니다.

원하는 인코딩(제 경우에는 UTF8)으로 텍스트 편집기에서 테이블을 열고 텍스트 필드가 있는지 파일을 보면 테이블이 어떤 옵션에 속하는지 확인할 수 있습니다. 예를 들면 다음과 같습니다.

또한 파일 시작 부분에는 0바이트가 많이 관찰될 수 있으며, 블록 암호화 알고리즘(가장 일반적)을 사용하는 바이러스도 일반적으로 여기에 영향을 미칩니다.

내 경우 공격자는 암호화된 각 파일 끝에 4바이트 문자열(1, 0, 0, 0)을 남겨 작업을 단순화했습니다. 감염되지 않은 파일을 검색하려면 스크립트로 충분했습니다.

def opened(path):
    files = os.listdir(path)
    for f in files:
        if os.path.isfile(path + f):
            yield path + f

for full_path in opened("C:somepath"):
    file = open(full_path, "rb")
    last_string = ""
    for line in file:
        last_string = line
        file.close()
    if (last_string[len(last_string) -4:len(last_string)]) != (1, 0, 0, 0):
        print(full_path)

따라서 첫 번째 유형에 속하는 파일을 찾는 것으로 나타났습니다. 두 번째는 많은 수작업이 필요하지만 발견된 것은 이미 충분했습니다. 다 괜찮을 텐데, 하지만 당신은 알아야 해요 절대적으로 정확한 구조 그리고 (물론) 자주 바뀌는 테이블을 가지고 작업해야 하는 경우도 생겼습니다. 필드 유형이 변경되었는지 또는 새 열이 추가되었는지 아무도 기억하지 못했습니다.

불행히도 Wilds City는 이러한 경우에 도움을 줄 수 없었으며 이것이 바로 이 기사가 작성되는 이유입니다.

핵심을 짚다

3개월 전의 테이블 구조가 현재 테이블과 일치하지 않습니다(필드가 하나일 수도 있고 그 이상일 수도 있음). 테이블 구조:

CREATE TABLE `table_1` (
    `id` INT (11),
    `date` DATETIME ,
    `description` TEXT ,
    `id_point` INT (11),
    `id_user` INT (11),
    `date_start` DATETIME ,
    `date_finish` DATETIME ,
    `photo` INT (1),
    `id_client` INT (11),
    `status` INT (1),
    `lead__time` TIME ,
    `sendstatus` TINYINT (4)
); 

이 경우 다음을 추출해야 합니다.

• id_point 정수(11);
• id_user 정수(11);
• date_start 날짜 시간;
• date_finish 날짜 시간.

복구를 위해 .ibd 파일을 바이트 단위로 분석한 후 더 읽기 쉬운 형식으로 변환합니다. 필요한 것을 찾으려면 int 및 datatime과 같은 데이터 유형만 분석하면 되므로 기사에서는 이에 대해서만 설명하지만 때로는 다른 유사한 사고에 도움이 될 수 있는 다른 데이터 유형도 참조할 것입니다.

1 문제: DATETIME 및 TEXT 유형의 필드에는 NULL 값이 있었고 파일에서 단순히 건너뛰었습니다. 이로 인해 제 경우에는 복원할 구조를 결정할 수 없었습니다. 새 컬럼에서는 기본값이 null이었고 innodb_flush_log_at_trx_commit = 0 설정으로 인해 트랜잭션의 일부가 손실될 수 있으므로 구조를 결정하는 데 추가 시간이 소요됩니다.

2 문제: DELETE를 통해 삭제된 행은 모두 ibd 파일에 있지만 ALTER TABLE을 사용하면 구조가 업데이트되지 않는다는 점을 고려해야 합니다. 결과적으로 데이터 구조는 파일의 시작부터 끝까지 다양할 수 있습니다. OPTIMIZE TABLE을 자주 사용하는 경우 이러한 문제가 발생할 가능성은 거의 없습니다.

주의, DBMS 버전은 데이터 저장 방식에 영향을 미치며 이 예는 다른 주요 버전에서는 작동하지 않을 수 있습니다. 제 경우에는 Windows 버전의 mariadb 10.1.24를 사용했습니다. 또한 mariadb에서는 InnoDB 테이블을 사용하지만 실제로는 엑스트라DB이는 InnoDB mysql을 사용한 메소드의 적용 가능성을 제외합니다.

파일 분석

파이썬에서는 데이터 유형 바이트() 일반 숫자 집합 대신 유니코드 데이터를 표시합니다. 이 형식으로 파일을 볼 수 있지만 편의상 바이트 배열을 일반 배열(list(example_byte_array))로 변환하여 바이트를 숫자 형식으로 변환할 수 있습니다. 어쨌든 두 방법 모두 분석에 적합합니다.

여러 ibd 파일을 살펴본 후 다음을 찾을 수 있습니다.

게다가 파일을 이러한 키워드로 나누면 대부분 균일한 데이터 블록을 얻을 수 있습니다. infimum을 제수로 사용하겠습니다.

table = table.split("infimum".encode())

흥미로운 관찰: 적은 양의 데이터가 있는 테이블의 경우 infimum과 supermum 사이에는 블록의 행 수에 대한 포인터가 있습니다.

— 첫 번째 행이 있는 테스트 테이블

- 2줄의 테스트 테이블

행 배열 table[0]은 건너뛸 수 있습니다. 살펴본 후에도 원시 테이블 데이터를 찾을 수 없었습니다. 아마도 이 블록은 인덱스와 키를 저장하는 데 사용됩니다.
table[1]부터 시작하여 숫자 배열로 변환하면 다음과 같은 몇 가지 패턴을 이미 확인할 수 있습니다.

문자열에 저장된 int 값입니다. 첫 번째 바이트는 숫자가 양수인지 음수인지를 나타냅니다. 제 경우에는 모든 숫자가 양수입니다. 나머지 3바이트에서 다음 함수를 사용하여 숫자를 결정할 수 있습니다. 스크립트:

def find_int(val: str):  # example '128, 1, 2, 3'
    val = [int(v) for v in  val.split(", ")]
    result_int = val[1]*256**2 + val[2]*256*1 + val[3]
    return result_int

예를 들어, 128, 0, 0, 1 = 1또는 128, 0, 75, 108 = 19308.
테이블에는 자동 증가 기능이 있는 기본 키가 있으며 여기에서도 찾을 수 있습니다.

테스트 테이블의 데이터를 비교한 결과 DATETIME 객체는 5바이트로 구성되고 153(대개 연간 간격을 나타냄)으로 시작되는 것으로 나타났습니다. DATTIME 범위가 '1000-01-01'부터 '9999-12-31'이므로 바이트 수는 다를 수 있다고 생각하지만 제 경우에는 데이터가 2016년부터 2019년까지의 기간에 해당하므로 가정하겠습니다. 5바이트이면 충분합니다.

초 없이 시간을 결정하기 위해 다음 함수가 작성되었습니다. 스크립트:

day_ = lambda x: x % 64 // 2  # {x,x,X,x,x }

def hour_(x1, x2):  # {x,x,X1,X2,x}
    if x1 % 2 == 0:
        return x2 // 16
    elif x1 % 2 == 1:
        return x2 // 16 + 16
    else:
        raise ValueError

min_ = lambda x1, x2: (x1 % 16) * 4 + (x2 // 64)  # {x,x,x,X1,X2}

연도, 월에 대한 함수형 함수를 작성하는 것이 불가능해서 해킹을 해야 했습니다. 스크립트:

ym_list = {'2016, 1': '153, 152, 64', '2016, 2': '153, 152, 128', 
           '2016, 3': '153, 152, 192', '2016, 4': '153, 153, 0',
           '2016, 5': '153, 153, 64', '2016, 6': '153, 153, 128', 
           '2016, 7': '153, 153, 192', '2016, 8': '153, 154, 0', 
           '2016, 9': '153, 154, 64', '2016, 10': '153, 154, 128', 
           '2016, 11': '153, 154, 192', '2016, 12': '153, 155, 0',
           '2017, 1': '153, 155, 128', '2017, 2': '153, 155, 192', 
           '2017, 3': '153, 156, 0', '2017, 4': '153, 156, 64',
           '2017, 5': '153, 156, 128', '2017, 6': '153, 156, 192',
           '2017, 7': '153, 157, 0', '2017, 8': '153, 157, 64',
           '2017, 9': '153, 157, 128', '2017, 10': '153, 157, 192', 
           '2017, 11': '153, 158, 0', '2017, 12': '153, 158, 64', 
           '2018, 1': '153, 158, 192', '2018, 2': '153, 159, 0',
           '2018, 3': '153, 159, 64', '2018, 4': '153, 159, 128', 
           '2018, 5': '153, 159, 192', '2018, 6': '153, 160, 0',
           '2018, 7': '153, 160, 64', '2018, 8': '153, 160, 128',
           '2018, 9': '153, 160, 192', '2018, 10': '153, 161, 0', 
           '2018, 11': '153, 161, 64', '2018, 12': '153, 161, 128',
           '2019, 1': '153, 162, 0', '2019, 2': '153, 162, 64', 
           '2019, 3': '153, 162, 128', '2019, 4': '153, 162, 192', 
           '2019, 5': '153, 163, 0', '2019, 6': '153, 163, 64',
           '2019, 7': '153, 163, 128', '2019, 8': '153, 163, 192',
           '2019, 9': '153, 164, 0', '2019, 10': '153, 164, 64', 
           '2019, 11': '153, 164, 128', '2019, 12': '153, 164, 192',
           '2020, 1': '153, 165, 64', '2020, 2': '153, 165, 128',
           '2020, 3': '153, 165, 192','2020, 4': '153, 166, 0', 
           '2020, 5': '153, 166, 64', '2020, 6': '153, 1, 128',
           '2020, 7': '153, 166, 192', '2020, 8': '153, 167, 0', 
           '2020, 9': '153, 167, 64','2020, 10': '153, 167, 128',
           '2020, 11': '153, 167, 192', '2020, 12': '153, 168, 0'}

def year_month(x1, x2):  # {x,X,X,x,x }

    for key, value in ym_list.items():
        key = [int(k) for k in key.replace("'", "").split(", ")]
        value = [int(v) for v in value.split(", ")]
        if x1 == value[1] and x2 // 64 == value[2] // 64:
            return key
    return 0, 0

n 시간을 투자하면 이 오해가 바로잡힐 수 있다고 확신합니다.
다음으로 문자열에서 날짜/시간 객체를 반환하는 함수입니다. 스크립트:

def find_data_time(val:str):
    val = [int(v) for v in val.split(", ")]
    day = day_(val[2])
    hour = hour_(val[2], val[3])
    minutes = min_(val[3], val[4])
    year, month = year_month(val[1], val[2])
    return datetime(year, month, day, hour, minutes)

int, int, datetime, datetime에서 자주 반복되는 값을 감지하도록 관리 , 이것이 당신에게 필요한 것 같습니다. 또한 이러한 시퀀스는 한 줄에 두 번 반복되지 않습니다.

정규식을 사용하여 필요한 데이터를 찾습니다.

fined = re.findall(r'128, d*, d*, d*, 128, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*, 153, 1[6,5,4,3]d, d*, d*, d*', int_array)

이 표현식을 사용하여 검색할 경우 필수 필드에서 NULL 값을 확인할 수 없지만 제 경우에는 이것이 중요하지 않습니다. 그런 다음 루프에서 찾은 내용을 살펴보겠습니다. 스크립트:

result = []
for val in fined:
    pre_result = []
    bd_int  = re.findall(r"128, d*, d*, d*", val)
    bd_date= re.findall(r"(153, 1[6,5,4,3]d, d*, d*, d*)", val)
    for it in bd_int:
        pre_result.append(find_int(bd_int[it]))
    for bd in bd_date:
        pre_result.append(find_data_time(bd))
    result.append(pre_result)

사실 그게 전부입니다. 결과 배열의 데이터가 우리에게 필요한 데이터입니다. ###추신.###
나는 이 방법이 모든 사람에게 적합하지 않다는 것을 이해합니다. 그러나 이 기사의 주요 목표는 모든 문제를 해결하기보다는 즉각적인 조치를 취하는 것입니다. 소스 코드를 직접 공부해 보는 것이 가장 올바른 해결책이라고 생각합니다. 마리 아브, 그러나 시간의 제약으로 인해 현재의 방법이 가장 빠른 것 같았습니다.

어떤 경우에는 파일을 분석한 후 대략적인 구조를 확인하고 위 링크의 표준 방법 중 하나를 사용하여 복원할 수 있습니다. 이는 훨씬 더 정확하고 문제가 덜 발생합니다.

출처 : habr.com