Nowa sieć neuronowa Google'a jest znacznie dokładniejsza i szybsza niż popularne analogi

Konwolucyjne sieci neuronowe (CNN), inspirowane procesami biologicznymi zachodzącymi w ludzkiej korze wzrokowej, dobrze nadają się do zadań takich jak rozpoznawanie obiektów i twarzy, ale poprawa ich dokładności wymaga żmudnego i precyzyjnego dostrajania. Dlatego naukowcy z Google AI Research badają nowe modele skalujące CNN w „bardziej zorganizowany” sposób. Wyniki swojej pracy opublikowali w Artykuł „EfficientNet: Nowe podejście do skalowania modelu dla konwolucyjnych sieci neuronowych” opublikowane na portalu naukowym Arxiv.org oraz w Publikacja na swoim blogu. Współautorzy twierdzą, że rodzina systemów sztucznej inteligencji, zwana EfficientNets, przewyższa dokładność standardowych CNN i zwiększa wydajność sieci neuronowej nawet 10-krotnie.

„Powszechną praktyką skalowania modeli jest arbitralne zwiększanie głębokości lub szerokości CNN i używanie wyższej rozdzielczości obrazu wejściowego do szkolenia i oceny” – piszą inżynier oprogramowania Mingxing Tan i główny naukowiec Google AI Quoc V.Le). „W przeciwieństwie do tradycyjnych podejść, które arbitralnie skalują parametry sieci, takie jak szerokość, głębokość i rozdzielczość wejściowa, nasza metoda równomiernie skaluje każdy wymiar przy użyciu stałego zestawu współczynników skalowania”.

Aby jeszcze bardziej poprawić wydajność, badacze opowiadają się za wykorzystaniem nowej sieci szkieletowej, mobilnej odwróconej splotu wąskiego gardła (MBConv), która stanowi podstawę rodziny modeli EfficientNets.

W testach sieć EfficientNets wykazała zarówno wyższą dokładność, jak i lepszą wydajność niż istniejące sieci CNN, zmniejszając wielkość parametrów i wymagania dotyczące zasobów obliczeniowych o rząd wielkości. Jeden z modeli, EfficientNet-B7, wykazał się 8,4 razy mniejszym rozmiarem i 6,1 razy lepszą wydajnością niż słynny CNN Gpipe, a także osiągnął dokładność 84,4% i 97,1% (wyniki Top-1 i Top-5) w testach na zestaw ImageNet. W porównaniu do popularnego CNN ResNet-50, inny model EfficientNet, EfficientNet-B4, korzystając z podobnych zasobów, osiągnął dokładność na poziomie 82,6% w porównaniu do 76,3% dla ResNet-50.

Modele EfficientNets wypadły dobrze w innych zbiorach danych, osiągając wysoką dokładność w pięciu z ośmiu benchmarków, w tym w zbiorze danych CIFAR-100 (dokładność 91,7%) i Kwiaty (98,8%).

„Oczekujemy, że zapewniając znaczną poprawę wydajności modeli neuronowych, EfficientNets może posłużyć jako nowe ramy dla przyszłych zadań związanych z wizją komputerową” – piszą Tan i Li.

Kod źródłowy i skrypty szkoleniowe dla jednostek przetwarzania Tensor Processing Units (TPU) firmy Google są swobodnie dostępne na stronie Github.

Źródło: 3dnews.ru