신경망. 이게 다 어디로 가는 걸까요?

이 기사는 두 부분으로 구성됩니다.

1. 이미지에서 객체 감지 및 이미지 분할을 위한 일부 네트워크 아키텍처에 대한 간략한 설명과 리소스에 대한 가장 이해하기 쉬운 링크가 포함되어 있습니다. 나는 비디오 설명을 선택하려고 노력했으며 가급적이면 러시아어로 설명했습니다.
2. 두 번째 부분은 신경망 아키텍처의 발전 방향을 이해하려는 시도이다. 그리고 이를 기반으로 한 기술.

그림 1 - 신경망 아키텍처를 이해하는 것은 쉽지 않습니다.

이 모든 것은 Android 휴대폰에서 객체 분류 및 감지를 위한 두 가지 데모 애플리케이션을 만드는 것으로 시작되었습니다.

• 백엔드 데모, 데이터가 서버에서 처리되어 휴대폰으로 전송되는 경우. 갈색, 검은색, 테디 베어의 세 가지 유형의 곰 이미지 분류.
• 프론트엔드 데모데이터가 휴대전화 자체에서 처리될 때. 헤이즐넛, 무화과, 대추의 세 가지 유형의 물체 감지(객체 감지).

이미지 분류, 이미지 내 객체 감지 작업에는 차이가 있습니다. 이미지 분할. 따라서 어떤 신경망 아키텍처가 이미지에서 객체를 감지하고 어떤 객체를 분할할 수 있는지 알아낼 필요가 있었습니다. 나는 나에게 가장 이해하기 쉬운 리소스 링크가 포함된 다음과 같은 아키텍처 예를 찾았습니다.

• R-CNN을 기반으로 한 일련의 아키텍처(R지역 C진화 N유랄 N네트워크 기능): R-CNN, Fast R-CNN, 빠른 R-CNN, 마스크 R-CNN. 이미지에서 객체를 감지하기 위해 RPN(Region Proposal Network) 메커니즘을 사용하여 경계 상자가 할당됩니다. 처음에는 RPN 대신 느린 선택적 검색 메커니즘이 사용되었습니다. 그런 다음 선택된 제한된 영역은 분류를 위해 기존 신경망의 입력으로 공급됩니다. R-CNN 아키텍처에는 제한된 지역에 대한 명시적인 "for" 루프가 있으며 AlexNet 내부 네트워크를 통해 최대 2000개의 실행이 실행됩니다. 명시적인 "for" 루프는 이미지 처리 속도를 저하시킵니다. 내부 신경망을 통해 실행되는 명시적 루프의 수는 아키텍처의 새 버전이 나올 때마다 감소하며, 속도를 높이고 객체 감지 작업을 Mask R-CNN의 객체 분할로 대체하기 위해 수십 가지 다른 변경이 이루어졌습니다.
• YOLO (You O네이 Look Once)는 모바일 기기에서 실시간으로 사물을 인식하는 최초의 신경망입니다. 특징: 한 번의 실행으로 개체를 구별합니다(한 번만 보세요). 즉, YOLO 아키텍처에는 명시적인 "for" 루프가 없기 때문에 네트워크가 빠르게 작동합니다. 예를 들어 NumPy에서는 행렬로 작업을 수행할 때 명시적인 "for" 루프가 없으며 NumPy에서는 C 프로그래밍 언어를 통해 아키텍처의 하위 수준에서 구현됩니다. YOLO는 미리 정의된 창 그리드를 사용합니다. 동일한 객체가 여러 번 정의되는 것을 방지하기 위해 IoU(Window Overlap Coefficient)를 사용합니다. I교차로 o버전 U니온). 이 아키텍처는 광범위한 범위에서 작동하며 높은 견고성: 모델은 사진으로 훈련을 받을 수 있지만 손으로 ​​그린 ​​그림에서는 여전히 좋은 성능을 발휘합니다.
• SSD (S화롯불 S핫 멀티박스 Detector) – YOLO 아키텍처의 가장 성공적인 "해킹"이 사용되며(예: 비최대 억제) 신경망이 더 빠르고 정확하게 작동하도록 새로운 해킹이 추가됩니다. 특징: 이미지 피라미드에서 주어진 창 그리드(기본 상자)를 사용하여 한 번에 개체를 구별합니다. 이미지 피라미드는 연속적인 컨볼루션 및 풀링 작업을 통해 컨볼루션 텐서로 인코딩됩니다(최대 풀링 작업을 사용하면 공간 차원이 감소함). 이러한 방식으로 하나의 네트워크 실행에서 큰 개체와 작은 개체가 모두 결정됩니다.
• 모바일SSD(모바일NetV2+ SSD)는 두 가지 신경망 아키텍처의 조합입니다. 첫 번째 네트워크 모바일넷V2 빠르게 작동하고 인식 정확도가 높아집니다. 원래 사용되었던 VGG-2 대신 MobileNetV16가 사용됩니다. 원본 기사. 두 번째 SSD 네트워크는 이미지에서 객체의 위치를 ​​결정합니다.
• 스퀴즈넷 – 매우 작지만 정확한 신경망. 그 자체로는 객체 감지 문제를 해결하지 못합니다. 그러나 다양한 아키텍처를 조합하여 사용할 수 있습니다. 그리고 모바일 장치에 사용됩니다. 독특한 특징은 데이터가 먼저 1개의 1×1 컨볼루션 필터로 압축된 다음 1개의 3×3 및 XNUMX개의 XNUMX×XNUMX 컨볼루셔널 필터로 확장된다는 것입니다. 이러한 데이터 압축 확장의 반복 중 하나를 "Fire Module"이라고 합니다.
• 딥랩 (Deep Convolutional Nets를 사용한 의미론적 이미지 분할) – 이미지의 객체 분할. 아키텍처의 독특한 특징은 공간 해상도를 유지하는 확장된 컨볼루션입니다. 그 다음에는 그래픽 확률 모델(조건부 무작위 필드)을 사용한 결과의 후처리 단계가 이어지며, 이를 통해 분할에서 작은 노이즈를 제거하고 분할된 이미지의 품질을 향상시킬 수 있습니다. "그래픽 확률 모델"이라는 무서운 이름 뒤에는 XNUMX개 점으로 근사화되는 기존의 가우스 필터가 숨겨져 있습니다.
• 장치를 알아내려고 노력했습니다. RefineDet (한번의 수정객체에 대한 신경망 구성 그것ection) 그러나 나는 많이 이해하지 못했습니다.
• 또한 "주의" 기술이 어떻게 작동하는지 살펴보았습니다. 비디오1, 비디오2, 비디오3. "주의" 아키텍처의 특징은 이미지에서 관심이 증가한 영역을 자동으로 선택하는 것입니다(RoI, R지역 of Ininterest) Attention Unit이라는 신경망을 사용합니다. 주의가 집중되는 영역은 경계 상자와 유사하지만, 이미지에 고정되지 않고 경계가 흐려질 수 있습니다. 그런 다음 관심이 증가한 영역에서 기호(특징)가 격리되어 아키텍처가 있는 순환 신경망에 "공급"됩니다. LSDM, GRU 또는 바닐라 RNN. 순환 신경망은 순서대로 특징의 관계를 분석할 수 있습니다. 순환 신경망은 처음에는 텍스트를 다른 언어로 번역하는 데 사용되었으며 현재는 번역에 사용되었습니다. 이미지를 텍스트로 и 텍스트를 이미지로.

이러한 아키텍처를 탐색하면서 나는 아무것도 이해하지 못한다는 것을 깨달았습니다.. 그리고 내 신경망의 주의 메커니즘에 문제가 있는 것은 아닙니다. 이러한 모든 아키텍처의 생성은 작성자가 해킹으로 경쟁하는 일종의 대규모 해커톤과 같습니다. 해킹은 어려운 소프트웨어 문제에 대한 빠른 해결책입니다. 즉, 이러한 모든 아키텍처 간에 가시적이고 이해 가능한 논리적 연결이 없습니다. 그들을 하나로 묶는 것은 그들이 서로 빌린 가장 성공적인 해킹 세트와 모두를 위한 공통 해킹 세트입니다. 폐쇄 루프 컨볼루션 연산 (오류 역전파, 역전파). 아니요 시스템적 사고! 무엇을 변경해야 하는지, 기존 성과를 최적화하는 방법은 명확하지 않습니다.

해킹 간의 논리적 연결이 부족하기 때문에 기억하고 실제로 적용하기가 매우 어렵습니다. 이것은 단편적인 지식이다. 기껏해야 몇 가지 흥미롭고 예상치 못한 순간이 기억되지만, 이해하고 이해할 수 없는 대부분의 내용은 며칠 내에 기억에서 사라집니다. 일주일 안에 최소한 건축물의 이름을 기억하면 좋을 것입니다. 그러나 기사를 읽고 리뷰 비디오를 보는 데 몇 시간, 심지어 며칠의 작업 시간이 소요되었습니다!

그림 2 – 신경망 동물원

내 개인적인 견해로는 대부분의 과학 기사 작성자는 이러한 단편적인 지식도 독자가 이해하지 못하도록 가능한 모든 조치를 취합니다. 그러나 "허공에서" 취한 공식이 포함된 XNUMX줄 문장의 분사구는 별도의 기사에 대한 주제입니다(문제 퍼지거나 멸망하다).

그렇기 때문에 신경망을 활용하여 정보를 체계화하여 이해와 기억의 질을 높일 필요가 있습니다. 따라서 인공신경망의 개별 기술 및 아키텍처 분석의 주요 주제는 다음과 같다. 다 어디로 가는지 알아봐, 특정 신경망의 장치가 별도로 존재하지 않습니다.

이 모든 것이 어디로 가는 걸까요? 주요 결과:

• 지난 XNUMX년간 머신러닝 스타트업 수 급격히 떨어졌다. 가능한 이유: "신경망은 더 이상 새로운 것이 아닙니다."
• 누구나 간단한 문제를 해결하기 위해 작동하는 신경망을 만들 수 있습니다. 이를 위해 “모델 동물원”에서 기성 모델을 가져와 신경망의 마지막 계층(전학 학습)의 기성 데이터에 대해 구글 데이터세트 검색 또는에서 25개의 Kaggle 데이터세트 무료로 클라우드 주피터 노트북.
• 대규모 신경망 제조업체가 만들기 시작했습니다. "모델 동물원" (모델 동물원). 이를 사용하면 상용 애플리케이션을 빠르게 만들 수 있습니다. TF 허브 텐서플로우의 경우, MM탐지 파이토치의 경우, 디텍 트론 카페2의 경우, 체이너모델주 체이너와 다른 사람.
• 다음에서 작동하는 신경망 실시간 (실시간) 모바일 장치에서. 초당 10~50프레임.
• 휴대폰(TF Lite), 브라우저(TF.js) 및 앱에서 신경망 사용 가정용품 (사물인터넷, I인터넷 에서요 of T힌지). 특히 이미 하드웨어 수준(신경 가속기)에서 신경망을 지원하는 휴대폰에서는 더욱 그렇습니다.
• “모든 장치, 의복, 심지어 음식까지도 IP-v6 주소 그리고 서로 소통해요" - 세바스찬 쓰룬.
• 머신러닝에 관한 출판물 수가 증가하기 시작했습니다. 무어의 법칙을 넘어서다 (2015년마다 두 배로 증가) XNUMX년 이후. 당연히 기사를 분석하려면 신경망이 필요합니다.
• 다음 기술이 인기를 얻고 있습니다.
  • 파이 토치 – 인기가 빠르게 증가하고 있으며 TensorFlow를 추월하는 것 같습니다.
  • 하이퍼파라미터 자동 선택 AutoML – 인기가 순조롭게 성장하고 있습니다.
  • 정확도가 점차 감소하고 계산 속도가 증가합니다. 퍼지 논리, 알고리즘 부스팅, 부정확한(근사) 계산, 양자화(신경망의 가중치를 정수로 변환하여 양자화하는 경우), 신경 가속기.
  • 번역 이미지를 텍스트로 и 텍스트를 이미지로.
  • 창조 비디오의 XNUMXD 개체, 이제 실시간으로.
  • DL의 가장 큰 장점은 데이터가 많지만 이를 수집하고 라벨링하는 것이 쉽지 않다는 점입니다. 따라서 마크업 자동화가 개발되고 있습니다(자동 주석) 신경망을 사용하는 신경망의 경우.
• 신경망을 통해 컴퓨터 과학은 갑자기 실험과학 그리고 일어났다 재현성 위기.
• 컴퓨팅이 시장 가치가 되면서 IT 자금과 신경망의 인기가 동시에 나타났습니다. 경제는 금과 통화 경제에서 경제로 변화하고 있습니다. 금화 컴퓨팅. 내 기사를 참조하세요. 경제 물리학 그리고 IT머니가 등장한 이유.

점차적으로 새로운 것이 나타납니다 ML/DL 프로그래밍 방법론 (기계 학습 및 딥 러닝)은 훈련된 신경망 모델 세트로 프로그램을 표현하는 데 기반을 두고 있습니다.

그림 3 – 새로운 프로그래밍 방법론으로서의 ML/DL

그러나, 한번도 등장한 적이 없다 "신경망 이론", 그 안에서 체계적으로 생각하고 일할 수 있습니다. 현재 "이론"이라고 불리는 것은 실제로는 실험적이고 경험적인 알고리즘입니다.

내 리소스 및 기타 리소스에 대한 링크:

• 데이터 과학 뉴스레터. 주로 영상처리를 합니다. 받고 싶으신 분은 이메일(foobar167<gaf-gaf>gmail<dot>com)로 보내주세요. 자료가 쌓이면 기사와 동영상 링크를 보내드립니다.
• 일반 강좌 및 기사 목록내가 통과한 것과 통과하고 싶은 것.
• 초보자를 위한 강좌 및 동영상, 여기서 신경망 연구를 시작해야 합니다. 플러스 브로셔 "기계학습과 인공신경망 소개".
• 유용한 도구, 모두가 스스로 흥미로운 것을 찾을 수 있습니다.
• 우리는 그것들이 매우 유용하다는 것을 알았습니다. 과학 기사 분석을 위한 비디오 채널 데이터 과학으로. 찾아서 구독하고 동료와 나에게도 링크를 전달하세요. 예:
  • XNUMX 분 논문
  • 헨리 AI 연구소
  • 야닉 킬처
  • 코드엠포리움
  • 블로그 장청웨이 일명 Tony607 단계별 지침과 오픈 소스를 제공합니다.

감사합니다!

출처 : habr.com