봇이 우리를 도와줄 거예요

1년 전, 우리의 사랑하는 인사부에서 우리에게 연락해 왔습니다. 회사에 새로 온 사람들이 적응하는 데 도움이 되는 채팅봇을 만들어 달라는 요청이었습니다.

우리는 자체적으로 제품을 개발하지 않지만, 고객에게 광범위한 개발 서비스를 제공한다는 점을 명시해 두겠습니다. 스토리는 고객이 제3자 회사가 아닌 우리 회사의 HR 담당자인 내부 프로젝트에 관한 것입니다. 그리고 제한된 인력, 자원, 시간을 감안할 때 가장 중요한 과제는 프로젝트를 정해진 시간 내에 완료하고 제품을 출시하는 것입니다.

먼저, 해결해야 할 과제를 설명해 보겠습니다.

개발자들은 대부분 내성적인 사람들이고, 말하는 것을 좋아하지 않습니다. 전자 채팅에 질문을 적어서 올리는 것이 훨씬 쉽습니다. 봇을 활용하면 누구에게 물어봐야 할지, 누구에게 전화해야 할지, 어디로 가야 할지, 그리고 일반적으로 어디에서 정보를 찾아야 할지, 그 정보가 관련성이 있는지 등에 대해 고민할 필요가 없습니다.

두 번째 문제는 정보입니다. 정보는 엄청나게 많고, 출처도 다양하며, 항상 이용할 수 있는 것은 아니므로 지속적인 보완과 업데이트가 필요합니다.

이 회사에는 직원이 거의 500명이며, 직원들은 러시아와 해외의 여러 도시, 시간대, 사무실에 근무하고 있습니다. 따라서 직원들이 가장 자주 묻는 질문과 관련된 HR 담당자의 업무 부담을 줄이는 것도 중요한 과제입니다.

회사에 신입사원이 들어오는 과정, 신입사원의 관리자와 멘토에게 메시지를 보내는 과정, 신입사원이 성공적으로 적응하기 위해 통과해야 하는 과정과 시험에 대한 자동 알림을 보내는 과정도 자동화할 필요가 있었습니다.

사업적 요구사항을 토대로 기술적 요구사항이 형성되었습니다.

봇은 Skype를 기반으로 작동해야 했습니다(과거에 이 회사는 Skype를 사용했습니다).따라서 Azure의 서비스가 선택되었습니다.

이에 대한 접근을 제한하기 위해 우리는 Skype 인증 메커니즘을 사용하기 시작했습니다.
ParlAI 라이브러리는 텍스트 인식에 사용되었습니다.

설정, 교육, 디버깅, 메일 설정 및 기타 작업을 위해 관리 웹 포털도 필요합니다.

이 프로젝트를 진행하는 과정에서 우리는 여러 가지 문제와 어려움에 직면했습니다.

예를 들어, Azure 계정에 기술적 문제가 있었습니다. Microsoft는 서비스 내의 몇 가지 기술적 문제로 인해 구독을 활성화하고 싶어하지 않았습니다. 거의 두 달 동안 우리는 아무것도 할 수 없었습니다. 마침내 Microsoft 지원팀에서 손을 내밀어 우리를 파트너에게 보냈고, 그들은 모든 것을 성공적으로 설정하고 우리에게 계정을 주었습니다.

가장 어려운 단계는 프로젝트를 시작할 때인데, 무엇을 사용할지, 아키텍처는 어떻게 할지, 데이터를 어디에 어떻게 저장할지, 시스템의 구성 요소와 모듈이 서로 어떻게 상호 작용할지 선택해야 합니다.

우리의 경우, 프로젝트를 시작할 때 일반적으로 겪는 문제는 인력 문제로 인해 더욱 복잡해졌습니다. 우리 사업의 특성상 상업적 프로젝트와 달리 내부 프로젝트는 필요한 분야에 대한 충분한 지식이 없는 개발자가 수행하는 경우가 많습니다. 그들은 운명의 뜻에 따라 다음의 큰 상업적 프로젝트를 기다리며 벤치에 앉아 있게 됩니다. 이런 상황에서는 동기를 부여하는 것도 매우 어려웠을 것이라는 것은 논리적입니다. 생산성이 떨어지고, 팀은 종종 게으르며, 결과적으로 그 사람을 설득(동기 부여)하거나 바꿔야 합니다. 개발자를 바꿀 때는 교육을 실시하고, 지식을 전수하고, 기본적으로 프로젝트를 다시 시작해야 합니다. 새로운 개발자들은 각자 자신만의 방식으로 아키텍처를 바라보았고, 이전 개발자들이 내린 결정과 다른 사람들의 코드를 질책했습니다. 다시 쓰기는 처음부터 시작되었습니다.

이런 일이 약 6개월 동안 계속되었습니다. 우리는 단지 시간을 벌기 위해, 코드를 리팩토링했을 뿐, 새로운 것을 쓴 것은 아니었습니다.

또한, 내부 프로젝트에서는 일반적으로 문서화가 거의 이루어지지 않아 특정 시점에 무엇을 해야 하는지, 현재 우선순위가 무엇인지 파악하기 어려웠습니다. 최소 3개월 동안 상주팀을 구성하고, 프로세스를 확립하고, 계획과 평가를 실시하는 것이 필요했습니다. 하지만 프로젝트가 상업적이지 않고 최소한의 인력만 투자하면 되며, 동시에 외부 고객을 대상으로 한 것보다 나쁘지 않은 결과를 얻을 수 있다면 어떻게 이를 실현할 수 있을까요?

우리는 이 프로젝트 개발에 참여하고, 이 프로젝트에 대해 잘 알고 있으며, 이 프로젝트에서 함께 일하고 싶어하는 인력 그룹을 파악했습니다. 우리는 프로젝트에 대한 사람들의 업무량 일정을 정리했습니다. 우리는 작업을 평가하고 조정했으며, 이 작업을 주요 프로젝트 사이의 "빈칸"에 맞춰 넣었습니다. 4개월 후에 우리는 해당 애플리케이션의 동작하는 프로토타입을 받았습니다.

이제 봇의 기능, 아키텍처, 기술 솔루션에 대해 더 자세히 알아보겠습니다.

HR의 주요 요구 사항 중 하나는 사용자가 질문에 올바르게 대답하기 위해 작성한 텍스트를 인식하는 것이었습니다. 그에게 편지를 쓰면 됩니다. "휴가를 가고 싶어요", "휴가를 가고 싶어요", "휴가를 가고 싶어요"라고 말하면 그는 이해하고 그에 따라 답장할 것입니다. 또는 갑자기 직원의 의자가 부러져서 "의자가 부러졌어요" 또는 "의자가 금이 갔어요" 또는 "의자 등받이가 떨어졌어요"와 같이 쓰고 싶은 경우, 적절한 훈련을 받으면 봇이 이러한 요청을 인식할 수 있습니다. 텍스트 인식의 품질은 자연스럽게 봇의 훈련에 따라 달라지는데, 이에 대해서는 나중에 설명하겠습니다.

다음 요구 사항이자 기능의 일부는 봇의 대화 시스템입니다. 봇이 대화를 진행하고 현재 질문의 맥락을 이해할 수 있는 시스템이 개발되었습니다. 귀하의 질문에 답변하면서, 봇이 대화를 계속할 수 있도록 훈련되어 있다면, 봇은 명확한 질문을 할 수 있고 대화를 계속할 수 있습니다. Skype는 사용자가 대화를 이어갈 수 있는 다양한 옵션을 안내하는 간단한 메뉴 항목을 지원합니다. 또한, 대화를 나누던 중 갑자기 주제와 관련 없는 질문을 하기로 결정했다면 봇은 이것도 이해할 것입니다.

봇을 사용하면 사용자의 개인 데이터를 기반으로 다양한 아티팩트를 사용자에게 보낼 수 있습니다. 예를 들어, 위치에서. 예를 들어 어떤 사람이 화장실을 찾고 싶어한다면, 그에게 화장실까지 안내하는 사무실 지도가 표시될 것입니다. 그리고 카드는 직원이 근무하는 회사 사무실에 따라 선택됩니다.

가장 중요한 업무 중 하나는 사용자의 개인정보를 보호하는 것입니다. 우리는 봇이 작동하는 민감한 데이터에 모든 사람이 접근하는 것을 허용할 수 없습니다. 이러한 봇에 대한 승인 필요성은 필수적인 부분입니다. 봇은 대화를 시작하기 전에 사용자에게 로그인을 요청합니다. 이는 직원이 봇에 처음 접속할 때 발생합니다. 인증 자체는 사용자를 해당 페이지로 리디렉션하고, 사용자는 토큰을 받은 후 이를 Skype 메시지에 삽입합니다. 승인이 성공하면 봇과 통신을 시작할 수 있습니다.

인증은 Skype(포털 인증 서비스), 회사 네트워크 및 LDAP를 통해 이루어집니다. 따라서 권한 부여는 기업 네트워크 내 사용자에 대한 현재 데이터에 따라 달라집니다.

봇을 개발하는 과정에서 우리는 HR이 봇의 디버깅을 빠르게 수행할 수 있도록 돕는 포털 기능에 내장된 어떤 종류의 시스템이 필요하다는 것을 깨달았습니다. HR 담당자가 사용자가 봇을 사용하는 동안 기록한 오류를 확인하고 재교육을 통해 해결하거나 개발자에게 맡길 수 있는 포털 페이지를 추가했습니다.

포털에서 봇을 직접 훈련시키는 기능은 처음부터 포함되지 않았습니다. 개발 과정에서 우리는 봇을 사용하는 HR 직원이 가장 흔히 수행하는 작업이 봇을 훈련하는 것이라는 사실을 깨달았고, 봇에 대한 추가 훈련을 위해 텍스트가 포함된 파일을 개발자에게 보내는 것은 완전히 용납할 수 없는 일이었습니다. 시간이 너무 많이 걸리고 오류와 문제가 너무 많이 발생합니다.

우리는 봇의 사용자 친화적인 교육을 위해 포털에 UI를 작성했습니다. 이를 통해 HR 부서는 봇의 현재 교육을 확인하고, 추가 교육을 실시하고, 현재 교육을 조정할 수 있습니다. 훈련은 봇과의 대화의 연장선인 노드, 즉 가지가 있는 트리 구조로 제공됩니다. 간단한 질문과 답변을 만들 수도 있고, 의미 있는 대화를 만들 수도 있습니다. 이는 모두 HR과 그들의 요구 사항에 달려 있습니다.

솔루션 아키텍처에 대한 몇 가지 설명입니다.

솔루션 아키텍처는 모듈식입니다. 여기에는 다음과 같은 다양한 업무를 담당하는 서비스가 포함됩니다.
• Azure의 Skype 봇 서비스 - 사용자 요청을 수락하고 처리합니다. 이는 요청을 수락하고 초기 처리를 수행하는 매우 간단한 서비스입니다.
• 관리자 포털은 포털과 봇 자체를 구성하기 위한 웹 인터페이스를 제공하는 서비스입니다. 봇은 항상 먼저 포털에 접속하고, 포털은 그 다음에 요청을 어떻게 처리할지 결정합니다.
• 인증 서비스 – 봇과 관리 포털에 대한 인증 메커니즘을 제공합니다. 인증은 Oauth2 프로토콜을 통해 이루어집니다. 승인이 긍정적이면 서비스는 사용자의 유효한 데이터에 따라 회사 네트워크에서 승인을 수행하여 시스템이 데이터 동기화 해제와 관련된 오류를 제어할 수 있습니다.
• Python으로 작성되고 텍스트 인식을 위해 ParlAI 프레임워크를 사용하는 AI 텍스트 인식 모듈입니다. 적어도 현재 구현에서는 신경망입니다. 우리는 tfDiff 알고리즘을 사용하여 질문을 이해합니다. 이 모듈은 통신하고 학습하기 위한 API를 제공합니다.

결론적으로, 이번이 채팅봇을 만드는 첫 경험이며, 최소한의 노동 비용으로 최대한 단순하면서도 기능적인 시스템을 만들려고 노력했습니다. 저희는 매우 흥미로운 제품을 가지고 있다고 생각합니다. 자체적인 교육, 오류 로깅, 알림 전송 시스템을 갖추고 있으며, 다른 메신저와도 통합이 가능합니다.

출처 : habr.com