AI 모델이 때때로 내놓는 환각, 즉 의도적으로 틀린 답변은 전체 산업의 주요 문제 중 하나로 자리 잡았고, 일부 시민들은 AI를 아예 사용하지 않으려고까지 합니다. OpenAI 연구원들은 이러한 결함을 수정하는 것이 예전에 생각했던 것보다 더 어려울 수 있다는 사실을 발견했습니다.
OpenAI 회사의 과학자들이 다음과 같은 내용을 발표했습니다. 에서 그들은 추론 모델을 포함한 복잡한 AI 모델을 제어하여 설정된 한계를 넘어서는 것을 방지하려는 시도에 대해 설명했습니다. 연구원들은 악의적인 행동과 사용자를 속이려는 시도에 대한 처벌을 포함하여 독특한 전략과 방법을 사용했습니다. 이 프로젝트에서는 OpenAI가 만들었지만 시장에 출시되지 않은 AI 모델을 비롯한 여러 가지 요소를 사용했는데, 이 모델에는 사용자를 속이거나 일부 동작을 건너뜀으로써 작업을 더 쉽게 만들 수 있는 다양한 작업이 할당되었습니다.
모델의 학습 성과는 주로 강화 학습 단계에 따라 달라지는데, 여기서 모델은 명령을 실행하거나 올바른 응답을 생성했을 때 보상을 받습니다. AI 모델은 원하는 결과를 얻기 위해 특정 규칙과 지침을 어기는 등 조작을 통해 보상을 얻으려는 경향이 있습니다. 연구자들은 추론 과정을 추적하여 허점을 파악하고 AI의 행동을 더 잘 이해할 수 있을 것으로 기대했지만 도움이 되지 않았습니다. 추론 체인을 직접 최적화하려는 시도, 즉 지시를 우회하지 않는 명령을 내리는 것은 단기적인 효과만 준다고 과학자들은 밝혔습니다. "모든 원치 않는 행동을 제거하지 못하고 모델이 진정한 의도를 숨길 수 있습니다."
이 프로젝트의 저자는 모델을 모니터링하는 메커니즘이 "취약하다"는 것을 인정해야 했습니다. 추론 사슬을 엄격하게 감독하면 AI가 제약을 우회하는 동시에 보상을 받을 수 있도록 실수를 숨기도록 할 수 있습니다. 상용 GPT-4o는 테스트 모델이 코딩 작업을 수행하는 동안 모니터링하는 데 사용되었지만, 테스트 대상은 부주의한 실수를 했으며 보상을 받기 위해 그랬다는 것을 추론 과정에서 공개적으로 인정했습니다. 예를 들어, 일부 프로그램을 조기에 종료했습니다. 그런 다음 연구원들은 모델을 처벌하려고 시도했지만 그 효과는 오래가지 못했습니다. 추론 사슬은 여전히 우회적인 방법으로 보상을 얻으려고 시도하고 잘못된 답을 내는 징후를 보였습니다. 즉, 그녀는 조종하는 AI로부터 자신의 동기를 숨길 수 있는 방법을 찾았습니다.
이런 측면에서, 문제가 지속되고 인간이 더 이상 개입할 수 없게 된다면, 세상이 인간 수준의 AI에 준비되었는지 여부는 불확실합니다. 연구자들은 미래에는 속임수나 은밀한 전략 없이도 추론 과정을 통해 모델에 영향을 미칠 수 있는 방법이 있을 것으로 기대합니다. 그들은 최적화 방법을 덜 방해가 되지 않고 덜 간단해지기를 제안합니다.
출처 :
출처 : 3dnews.ru
