AI 도구가 작성한 취약점 보고서로 인한 문제

네트워크 컬을 통해 데이터를 수신하고 전송하는 유틸리티의 작성자인 Daniel Stenberg는 취약점 보고서를 작성할 때 AI 도구를 사용하는 것을 비판했습니다. 이러한 보고서에는 자세한 정보가 포함되어 있고 일반 언어로 작성되어 있어 품질이 좋아 보이지만 실제로는 사려 깊은 분석이 없으면 오해의 소지가 있을 뿐이며 실제 문제를 품질이 좋아 보이는 쓰레기 콘텐츠로 대체할 수 있습니다.

Curl 프로젝트는 새로운 취약점을 식별한 대가로 보상을 지급하며 이미 415건의 잠재적인 문제에 대한 보고를 받았습니다. 그 중 64건만이 취약점으로 확인되었고 77건은 비보안 버그로 확인되었습니다. 따라서 전체 보고서의 66%에는 유용한 정보가 포함되어 있지 않으며 유용한 정보에 소비할 수 있는 개발자의 시간만 빼앗아갔습니다.

개발자는 쓸모없는 보고서를 분석하고 거기에 포함된 정보를 여러 번 다시 확인하는 데 많은 시간을 낭비해야 합니다. 왜냐하면 디자인의 외부 품질로 인해 정보에 대한 추가적인 신뢰가 생기고 개발자가 뭔가 잘못 이해했다는 느낌이 들기 때문입니다. 반면, 이러한 보고서를 생성하려면 신청자의 최소한의 노력만 필요합니다. 지원자는 실제 문제를 확인하는 데 신경 쓰지 않고 단지 AI 보조자로부터 받은 데이터를 맹목적으로 복사하여 보상을 받기 위한 투쟁에서 행운이 있기를 바랍니다.

이러한 쓰레기 보고서의 두 가지 예가 제공됩니다. 위험한 2023월 취약점(CVE-38545-XNUMX)에 대한 정보 공개 예정일 전날 Hackerone을 통해 수정 사항이 포함된 패치가 공개되었다는 보고가 전송되었습니다. 실제로 보고서에는 유사한 문제에 대한 사실과 Google의 AI 비서인 Bard가 수집한 과거 취약점에 대한 자세한 정보의 일부가 혼합되어 포함되어 있었습니다. 결과적으로 정보는 새롭고 관련성이 있어 보였고 현실과 아무런 관련이 없었습니다.

두 번째 예는 이미 Hackerone을 통해 다양한 프로젝트에 취약점에 대해 알린 사용자가 보낸 WebSocket 핸들러의 버퍼 오버플로에 대해 28월 XNUMX일에 수신된 메시지와 관련이 있습니다. 보고서에는 문제 재현 방법으로 strcpy로 복사할 때 사용한 버퍼 크기보다 큰 값으로 수정된 요청을 전달한다는 일반적인 문구가 포함됐다. 보고서는 또한 수정의 예(strcpy를 strncpy로 대체한 예)를 제공했으며 신청자에 따르면 오류가 포함된 "strcpy(keyval, randstr)" 코드 줄에 대한 링크를 표시했습니다.

개발자가 모든 것을 세 번이나 다시 확인하고 아무런 문제도 발견하지 못했지만, 보고서가 자신있게 작성되었고 수정 사항까지 포함되어 있기 때문에 어딘가 빠진 듯한 느낌이 들었습니다. 연구원이 strcpy 호출 이전에 존재하는 명시적 크기 확인을 어떻게 우회했는지, 그리고 keyval 버퍼의 크기가 읽은 데이터의 크기보다 작은 것으로 밝혀졌는지 명확히 하려는 시도로 인해 자세한 정보가 제공되었지만 추가 정보는 전달되지 않았습니다. 이는 특정 Curl 코드와 관련되지 않은 버퍼 오버플로의 명백하고 일반적인 원인만을 씹어 본 것입니다. 답변은 AI 비서와 소통하는 모습을 연상시켰고, 문제가 어떻게 나타나는지 정확히 알아내기 위해 무의미한 시도에 반나절을 보낸 끝에 개발자는 마침내 실제로 취약점이 없다는 것을 확신했습니다.

출처 : opennet.ru