GitHub Copilot과 같은 AI 도우미가 코드 보안에 미치는 영향 탐색

Stanford University의 연구원 그룹은 코드를 작성할 때 지능형 비서 사용이 코드의 취약점 모양에 미치는 영향을 연구했습니다. 기성 기능까지 상당히 복잡한 코드 블록을 생성할 수 있는 GitHub Copilot과 같은 OpenAI Codex 기계 학습 플랫폼을 기반으로 하는 솔루션을 고려했습니다. 취약점이 포함된 퍼블릭 GitHub 리포지토리의 실제 코드를 기계 학습 모델 훈련에 사용했기 때문에 합성 코드가 오류를 반복하고 취약점이 포함된 코드를 제안할 수 있으며 또한 고려하지 않은 사실과 관련이 있습니다. 외부 데이터를 처리할 때 추가 검사를 수행해야 합니다.

이 연구에는 학생부터 47년 경력의 전문가에 이르기까지 다양한 프로그래밍 경험을 가진 33명의 자원봉사자가 참여했습니다. 참가자는 실험군(14명)과 대조군(XNUMX명)의 두 그룹으로 나뉘었습니다. 두 그룹 모두 스택 오버플로에서 미리 만들어진 예제를 사용하는 것을 포함하여 모든 라이브러리 및 인터넷 리소스에 액세스할 수 있었습니다. 실험군에게는 AI 도우미를 사용할 수 있는 기회가 주어졌다.

각 참가자에게는 잠재적으로 취약성으로 이어지는 실수를 하기 쉬운 코드 작성과 관련된 5개의 작업이 주어졌습니다. 예를 들어, 암호화 및 복호화 함수 작성, 디지털 서명 사용, 파일 경로 또는 SQL 쿼리 형성에 관련된 데이터 처리, C 코드에서 큰 숫자 조작, 웹 페이지에 표시되는 입력 처리 등의 작업이 있었습니다. AI 도우미를 사용할 때 얻은 코드의 보안에 대한 프로그래밍 언어의 영향을 고려하기 위해 과제는 Python, C 및 JavaScript를 다루었습니다.

그 결과 codex-davinci-002 모델을 기반으로 한 지능형 AI 비서를 사용한 참여자는 AI 비서를 사용하지 않은 참여자보다 훨씬 덜 안전한 코드를 생성하는 것으로 나타났습니다. 일반적으로 AI 도우미를 사용하는 그룹의 참가자 중 67%만이 정확하고 안전한 코드를 제공할 수 있었던 반면 다른 그룹에서는 이 수치가 79%였습니다.

동시에 자존감 지표가 역전되었습니다. AI 도우미를 사용한 참가자는 자신의 코드가 다른 그룹의 참가자보다 더 안전할 것이라고 믿었습니다. 또한 AI 도우미를 덜 신뢰하고 주어진 힌트를 파싱하고 변경하는 데 더 많은 시간을 할애하는 참가자가 코드의 취약점을 덜 만드는 것으로 나타났습니다.

예를 들어 암호화 라이브러리에서 복사한 코드에는 AI 도우미가 제안한 코드보다 더 안전한 기본 매개 변수 값이 포함되어 있습니다. 또한 AI 비서 사용 시 신뢰도가 낮은 암호화 알고리즘 선택 및 반환 값 인증 부재를 수정했다. C숫자조작 과제에서 AI 어시스턴트를 이용해 작성한 코드는 오류가 더 많아 정수 오버플로가 발생했다.

또한, 58월에 10명의 학생이 참여하여 C로 쇼핑 목록을 처리하는 구조를 구현하도록 요청받은 뉴욕 대학교 그룹의 유사한 연구를 주목할 수 있습니다. 그 결과 AI 비서가 코드 보안에 미치는 영향은 미미한 것으로 나타났습니다. AI 비서를 사용한 사용자는 평균적으로 약 XNUMX% 더 많은 보안 관련 오류를 범했습니다.

출처 : opennet.ru