Жакында чыгарылды , бул акыркы жылдарда машина үйрөнүүдө жакшы тенденцияны көрсөтөт. Кыскасы: акыркы эки жылда машина үйрөнүү стартаптарынын саны кескин кыскарды.
жакшы. Келгиле, “көбүктүн жарылып кеткенби”, “кантип жашоону улантыш керек” деген суроолорду карап көрөлү жана биринчи кезекте бул ийри кайдан келип чыкканы жөнүндө сүйлөшөлү.
Биринчиден, келгиле, бул ийри сызыктын күчөгөнү жөнүндө сүйлөшөлү. Ал кайдан келген? Алар, балким, баарын эстеп калышат 2012-жылы ImageNet сынагында машина үйрөнүү. Анткени, бул биринчи дүйнөлүк окуя! Бирок иш жүзүндө андай эмес. Ал эми ийри сызыктын өсүшү бир аз эрте башталат. Мен аны бир нече пунктка бөлөт элем.
- 2008-жылы "чоң маалыматтар" термини пайда болгон. Чыныгы продукциялар башталды жылдан тартып 2010-жылдын. Чоң маалыматтар машинаны үйрөнүү менен түздөн-түз байланыштуу. Чоң маалыматтарсыз ошол кездеги алгоритмдердин туруктуу иштеши мүмкүн эмес. Жана бул нейрон тармактары эмес. 2012-жылга чейин нейрон тармактары маргиналдык азчылыктын сакталышы болгон. Бирок андан кийин такыр башка алгоритмдер иштей баштады, алар жылдар, ал тургай ондогон жылдар бою бар болчу: (1963,1993), (1995), (2003),... Ошол жылдардагы стартаптар биринчи кезекте структураланган маалыматтарды автоматтык түрдө иштетүү менен байланышкан: кассалык аппараттар, колдонуучулар, жарнак жана башка көп нерселер.
Бул биринчи толкундун туундусу XGBoost, CatBoost, LightGBM ж.б. сыяктуу алкактардын жыйындысы болуп саналат.
- 2011-2012-жылдары сүрөттөрдү таануу боюнча бир катар сынактарды жеңип алган. Аларды иш жүзүндө колдонуу бир аз кечиктирилген. Мен 2014-жылы массалык мааниге ээ стартаптар жана чечимдер пайда боло баштаганын айтат элем. Нейрондордун дагы эле иштеп жатканын сиңирүү, акылга сыярлык убакытта орнотуп, ишке киргизүүгө ыңгайлуу алкактарды түзүү, конвергенция убактысын турукташтыруучу жана тездете турган ыкмаларды иштеп чыгуу үчүн эки жыл талап кылынды.
Конволюциондук тармактар компьютердик көрүү маселелерин чечүүгө мүмкүндүк берди: сүрөттөлүштөгү сүрөттөрдү жана объектилерди классификациялоо, объектти аныктоо, объекттерди жана адамдарды таануу, сүрөттү жакшыртуу ж.б.у.с.
- 2015-2017. Кайталануучу тармактарга же алардын аналогдоруна (LSTM, GRU, TransformerNet ж.б.) негизделген алгоритмдердин жана долбоорлордун буму. Жакшы иштеген кептен текстке алгоритмдер жана машиналык которуу системалары пайда болду. Алар жарым-жартылай негизги өзгөчөлүктөрүн алуу үчүн convolutional тармактарга негизделген. Жарым-жартылай биз чындап чоң жана жакшы маалымат топтомун чогултууну үйрөнгөнүбүзгө байланыштуу.
"Көбүк жарылдыбы? Хайп ысып кеттиби? Алар блокчейн катары өлүштүбү?»
Болбосо! Эртең Сири телефонуңузда иштебей калат, ал эми эртеси күнү Тесла бурулуш менен кенгурунун айырмасын билбейт.
Нейрондук тармактар мурунтан эле иштеп жатат. Алар ондогон приборлордо. Алар чындап эле акча табууга, рынокту жана айланаңыздагы дүйнөнү өзгөртүүгө мүмкүндүк берет. Hype бир аз башкача көрүнөт:
Жөн гана нейрон тармактары жаңы нерсе эмес. Ооба, көп адамдар көп нерсени күтүшөт. Бирок көптөгөн компаниялар нейрондорду колдонууну жана алардын негизинде буюмдарды жасоону үйрөнүштү. Нейрондор жаңы функцияларды берет, жумуш орундарын кыскартууга жана кызматтардын баасын төмөндөтүүгө мүмкүндүк берет:
- Өндүрүш компаниялары өндүрүш линиясындагы кемчиликтерди талдоо үчүн алгоритмдерди бириктирип жатышат.
- Мал чарба фермалары уйларды көзөмөлдөө үчүн системаларды сатып алышат.
- Автоматтык комбайндар.
- Автоматташтырылган чалуу борборлору.
- SnapChat чыпкалары. (жакшы, жок дегенде пайдалуу нерсе!)
Бирок эң негизгиси, эң айкын эмес: "Мындан ары жаңы идеялар жок, же алар заматта капиталды алып келбейт." Нейрондук тармактар ондогон маселелерди чечти. Анан дагы алар чечишет. Бар болгон бардык ачык идеялар көптөгөн стартаптарды пайда кылды. Бирок бетинде болгондун баары жыйналып бүтүп калган. Акыркы эки жылдын ичинде мен нейрондук тармактарды колдонуу боюнча бир дагы жаңы идеяны көргөн жокмун. Бир дагы жаңы мамиле жок (жакшы, GANs менен бир нече көйгөйлөр бар).
Жана ар бир кийинки стартап барган сайын татаал. Мындан ары ачык маалыматтарды колдонуу менен нейронду үйрөткөн эки жигит талап кылынбайт. Ал үчүн программисттер, сервер, маркерлер тобу, комплекстүү колдоо ж.б.
Натыйжада, стартаптар аз. Бирок өндүрүш дагы бар. Унаанын номерин таанууну кошуу керекпи? Базарда тиешелүү тажрыйбасы бар жүздөгөн адистер бар. Сиз бирөөнү жалдай аласыз жана бир нече айдан кийин сиздин кызматкер системаны түзөт. Же даяр сатып алуу. Бирок жаңы стартап кылып жатабы?.. Жинди!
Сиз конокторду көзөмөлдөө тутумун түзүшүңүз керек - эмне үчүн сиз 3-4 айдын ичинде өзүңүздүн жеке ишиңизди жасай аласыз, аны бизнесиңиз үчүн курчутуңуз.
Азыр нейрон тармактары ондогон башка технологиялар басып өткөн жолду басып өтүүдө.
1995-жылдан бери "вебсайтты иштеп чыгуучу" түшүнүгү кандай өзгөргөнүн эсиңиздеби? Базар адистер менен али толуктала элек. Профессионалдар өтө аз. Бирок мен 5-10 жылдан кийин Java программисти менен нейрон тармагын иштеп чыгуучунун ортосунда анча деле айырмачылык болбойт деп ишенем. Базарда эки адис тең жетиштүү болот.
Жөн гана нейрондор чече турган көйгөйлөрдүн классы болот. Милдет пайда болду - адисти жалдоо.
"Кийинкиси эмне? Убадаланган жасалма интеллект кайда?»
Бирок бул жерде кичинекей, бирок кызыктуу түшүнбөстүк бар :)
Бүгүнкү күндө бар болгон технологиялык стек, кыязы, бизди жасалма интеллектке алып барбайт. Идеялар жана алардын жаңылыгы көбүнесе өздөрүн түгөттү. Келгиле, өнүгүүнүн азыркы деңгээлин эмне кармап турганы жөнүндө сүйлөшөлү.
чектөөлөр
Келгиле, өзүн өзү башкарган унаалардан баштайлы. Бүгүнкү технология менен толук автономдуу унааларды жасоо мүмкүн экени анык көрүнөт. Бирок бул канча жылдан кийин болоору белгисиз. Тесла бул бир нече жылдан кийин болот деп ишенет -
Башкалар көп , ким аны 5-10 жыл деп эсептейт.
Кыязы, менин оюмча, 15 жылдан кийин шаарлардын инфраструктурасы өзгөрүп, автономдуу унаалардын пайда болушу сөзсүз түрдө болуп, анын уландысы болуп калат. Бирок муну акыл деп айтууга болбойт. Заманбап Tesla маалыматтарды чыпкалоо, издөө жана кайра даярдоо үчүн абдан татаал түтүк болуп саналат. Бул эрежелер-эреже-эрежелер, маалыматтарды чогултуу жана алардын үстүнөн чыпкалоо (бул жерде Мен бул жөнүндө бир аз көбүрөөк жаздым, же андан көрүңүз белгилер).
Биринчи көйгөй
Жана бул жерде биз көрүп жатабыз биринчи негизги көйгөй. Чоң маалыматтар. Дал ушул нерсе нейрондук тармактардын жана машина үйрөнүүнүн азыркы толкунун жаратты. Бүгүнкү күндө татаал жана автоматтык нерсени жасоо үчүн сизге көп маалымат керек. Көп эле эмес, абдан, абдан көп. Бизге аларды чогултуу, белгилөө жана колдонуу үчүн автоматташтырылган алгоритмдер керек. Биз машинеге жүк ташуучу унааларды күнгө караганын көргүбүз келет - адегенде алардын жетиштүү санын чогултушубуз керек. Биз унаанын багажга байланган велосипед менен жинди болбошун каалайбыз - көбүрөөк үлгүлөр.
Анын үстүнө бир эле мисал жетишсиз. Жүздөгөн? Миңдеген?
Экинчи көйгөй
Экинчи көйгөй — биздин нейрон тармагыбыз түшүнгөн нерселердин визуализациясы. Бул өтө маанилүү эмес иш. Ушул убакка чейин муну кантип элестетүү керектигин түшүнгөн адамдар аз. Бул макалалар абдан акыркы болуп саналат, бул алыс болсо да, бир нече мисалдар:
текстураларга болгон кызыгуу. Бул нейрондун эмнени бекемдөөгө умтуларын + баштапкы маалымат катары кабыл алган нерсени жакшы көрсөтөт.
Көңүл буруу . Чынында эле, аттракционду көбүнчө мындай тармактык реакцияга эмне себеп болгонун көрсөтүү үчүн колдонсо болот. Мен мүчүлүштүктөрдү оңдоо жана продукт чечимдери үчүн ушундай нерселерди көрдүм. Бул тема боюнча көптөгөн макалалар бар. Бирок маалыматтар канчалык татаал болсо, визуализацияга кантип жетүүнү түшүнүү ошончолук кыйын болот.
Ооба, ооба, жакшы эски топтому "карагылачы, тордун ичинде эмне бар " Бул сүрөттөр 3-4 жыл мурун популярдуу болгон, бирок баары сүрөттөрдүн кооз экенин бат эле түшүнүшкөн, бирок алар анчалык деле мааниге ээ эмес.
Мен башка ондогон гаджеттерди, ыкмаларды, хакерлерди, тармактын ички жактарын кантип көрсөтүү боюнча изилдөөлөрдү айткан жокмун. Бул куралдар иштейби? Алар көйгөйдүн эмнеде экенин тез түшүнүүгө жана тармакты оңдоого жардам береби?.. Акыркы пайызды алыңыз? Ооба, бул болжол менен бирдей:
Кагглдан каалаган мелдешти көрө аласыз. Жана адамдардын акыркы чечимдерди кандайча кабыл алуусунун сүрөттөлүшү. Биз 100-500-800 миллион моделди чогулттук жана ал иштеди!
Мен, албетте, апыртып айтып жатам. Бирок бул ыкмалар тез жана түз жооп бере албайт.
Жетиштүү тажрыйбага ээ болуп, ар кандай варианттарды карап чыгып, сиз системаңыз эмне үчүн мындай чечим кабыл алганы жөнүндө чечим чыгара аласыз. Бирок системанын жүрүм-турумун оңдоо кыйын болот. Балдак орнотуңуз, босогону жылдырыңыз, берилиштер топтомун кошуңуз, башка сервер тармагын алыңыз.
Үчүнчү маселе
Үчүнчү негизги маселе — торлор логиканы эмес, статистиканы үйрөтөт. Статистикалык бул :
Логикалык жактан алганда, бул абдан окшош эмес. Нейрондук тармактар мажбурланмайынча татаал нерсени үйрөнбөйт. Алар ар дайым мүмкүн болгон эң жөнөкөй белгилерди үйрөтүшөт. Көзүң, мурдун, башың барбы? Демек, бул бет! Же көз деген бетти билдирбеген мисал келтириңиз. Жана дагы - миллиондогон мисалдар.
Төмөндө көп орун бар
Мен айтаар элем, дал ушул үч глобалдык көйгөй учурда нейрон тармактарын жана машина үйрөнүүнүн өнүгүшүн чектейт. Ал эми бул көйгөйлөр аны чектебеген жерде, ал буга чейин активдүү колдонулат.
Бул акыры? Нейрондук тармактар иштеп жатабы?
Белгисиз. Бирок, албетте, баары үмүттөнбөйт.
Мен жогоруда белгилеген фундаменталдык көйгөйлөрдү чечүүнүн көптөгөн жолдору жана багыттары бар. Бирок ушул кезге чейин бул мамилелер-дин бири да принциптуу жацы нерсени жасоого, али чечиле элек нерсени чечууге мумкундук бере элек. Азырынча бардык фундаменталдык долбоорлор стабилдүү ыкмалардын негизинде аткарылып жатат (Tesla), же институттардын же корпорациялардын (Google Brain, OpenAI) сыноо долбоорлору бойдон калууда.
Болжол менен айтканда, негизги багыт киргизилген маалыматтардын кандайдыр бир жогорку деңгээлдеги өкүлчүлүгүн түзүү болуп саналат. Башкача айтканда, "эс тутум". Эстутумдун эң жөнөкөй мисалы болуп ар кандай "Эмкиндөө" - сүрөттөлүштөр саналат. Мисалы, бардык жүзүн таануу системалары. Тармак жүздөн айланууга, жарыктандырууга же резолюцияга көз каранды болбогон кандайдыр бир туруктуу өкүлчүлүктү алууну үйрөнөт. Негизинен, тармак "башка жүздөр алыс" жана "бирдей жүздөр жакын" деген метрикалык көрсөткүчтөрдү азайтат.
Мындай окутуу үчүн ондогон жана жүз миңдеген мисалдар керек. Бирок натыйжада "Бир жолу окуунун" кээ бир негизи бар. Эми бир адамды эстеп калуу үчүн жүздөгөн жүздөрдүн кереги жок. Болгону бир бетибиз жана ушунусу менен биз !
Бир эле маселе бар... Тор жөнөкөй объекттерди гана үйрөнө алат. Жүздөрүн эмес, мисалы, "адамдарды кийими боюнча" айырмалоого аракет кылып жатканда (милдет ) - сапаты көптөгөн буйруктарга төмөндөйт. Ал эми тармак мындан ары бурчтардагы ачык-айкын өзгөрүүлөрдү үйрөнө албайт.
Миллиондогон мисалдардан үйрөнүү да кызыктуу.
Шайлоону бир топ кыскартуу боюнча иштер жүрүп жатат. Мисалы, дароо эле алгачкы эмгектердин бирин эстеп коюуга болот OneShot Learning :
Мисалы, мындай чыгармалар көп же же .
Бир гана минус бар - адатта тренинг кээ бир жөнөкөй, "MNIST" мисалдарында жакшы иштейт. Ал эми татаал тапшырмаларга өтүүдө сизге чоң маалымат базасы, объекттердин модели же кандайдыр бир сыйкыр керек.
Жалпысынан алганда, One-Shot тренингинин үстүндө иштөө абдан кызыктуу тема. Сиз көп идеяларды табасыз. Бирок, көпчүлүк учурда, мен санап өткөн эки көйгөй (чоң маалымат топтомун алдын ала даярдоо / татаал маалыматтар боюнча туруксуздук) окууга чоң тоскоол болот.
Башка жагынан алганда, GANs - генеративдик атаандаштык тармактар - Embedding темасына жакындайт. Сиз, балким, бул тема боюнча Habré боюнча бир топ макалаларды окугандыр. (, ,)
GAN өзгөчөлүгү кандайдыр бир ички мамлекеттик мейкиндиктин пайда болушу (негизинен ошол эле Embedding), бул сүрөт тартууга мүмкүндүк берет. Болушу мүмкүн , болушу мүмкүн .
GAN менен көйгөй жаралган объект канчалык татаал болсо, аны "генератор-дискриминатор" логикасында сүрөттөө ошончолук кыйын болот. Натыйжада, GANдын бирден-бир реалдуу тиркемелери - бул DeepFake, ал дагы беттин көрүнүштөрүн башкарат (бул үчүн чоң база бар).
Мен абдан аз башка пайдалуу колдонууну көрдүм. Адатта, сүрөттөрдүн чиймелерин бүтүрүү менен байланышкан кандайдыр бир куулук.
Жана кайра. Бул бизге жаркыраган келечекке кандайча жол ачарын эч ким ойлобойт. Нейрондук тармакта логиканы/мейкиндикти көрсөтүү жакшы. Бирок бизге көп сандагы мисалдар керек, биз нейрон муну кантип чагылдырарын түшүнбөйбүз, нейрондун кандайдыр бир чындап эле татаал идеяны эстеп калышына кантип жеткирүүнү түшүнбөйбүз.
Кубаттоо билим - бул таптакыр башка багыттагы мамиле. Google Go программасында баарын кантип жеңгени эсиңизде болсо керек. Starcraft жана Dota оюндарындагы акыркы жеңиштер. Бирок, бул жерде баары ушунчалык кызгылтым жана келечектүү эмес. Ал RL жана анын татаалдыктары жөнүндө эң жакшы сүйлөйт .
Жазуучунун жазгандарын кыскача жыйынтыктай кетсек:
- Кутудан чыккан моделдер көпчүлүк учурларда туура келбейт / начар иштейт
- Практикалык маселелерди башка жолдор менен чечүү оңой. Boston Dynamics анын татаалдыгы/болжолдонбогондугу/эсептөө татаалдыгынан улам RL колдонбойт
- RL иштеши үчүн сизге татаал функция керек. Көбүнчө түзүү/жазуу кыйын
- Моделдерди үйрөтүү кыйын. Сиз локалдуу оптимадан чыгуу үчүн көп убакыт коротушуңуз керек
- Натыйжада, моделди кайталоо кыйынга турат, модель кичине өзгөрүүлөр менен туруксуз
- Көбүнчө кээ бир кокустук үлгүлөргө, атүгүл кокус сандар генераторуна да туура келет
Эң негизгиси, RL азырынча өндүрүштө иштебейт. Google'дун кээ бир эксперименттери бар ( , ). Бирок мен бир дагы продукт системасын көрө элекмин.
эскерүү. Жогоруда айтылгандардын бардыгынын кемчилиги - структуранын жоктугу. Мунун баарын иретке келтирүүгө аракет кылуунун ыкмаларынын бири нейрондук тармакка өзүнчө эс тутумга кирүү мүмкүнчүлүгүн берүү болуп саналат. Ал жердеги кадамдарынын жыйынтыгын жазып, кайра жаза алышы үчүн. Андан кийин нейрон тармагын учурдагы эс абалы менен аныктоого болот. Бул классикалык процессорлорго жана компьютерлерге абдан окшош.
Эң белгилүү жана популярдуу - DeepMindден:
Бул интеллектти түшүнүүнүн ачкычы окшойт? Бирок, балким, жок. Система дагы эле окутуу үчүн маалыматтардын зор көлөмүн талап кылат. Жана ал негизинен структураланган таблица маалыматтары менен иштейт. Анын үстүнө, качан Facebook ушуга окшош көйгөйдү чечип, андан кийин алар "эстутумду бурап, жөн гана нейронду татаалдантып, дагы көп мисалдар бар - жана ал өзүнөн өзү үйрөнөт" деген жолду тандашкан.
Ачуу. Маанилүү эстутумду түзүүнүн дагы бир жолу - ошол эле кыстарууларды алуу, бирок тренинг учурунда алардагы "маанилерди" бөлүп көрсөтүүгө мүмкүндүк берүүчү кошумча критерийлерди киргизиңиз. Мисалы, биз дүкөндө адамдын жүрүм-турумун айырмалоо үчүн нейрон тармагын үйрөткүбүз келет. Эгер биз стандарттуу жол менен жүрсөк, ондогон тармактарды жасоого туура келет. Бири адамды издеп жатат, экинчиси эмне кылып жатканын, үчүнчүсү жашын, төртүнчүсү жынысын. Өзүнчө логика дүкөндүн бул кылган/үйрөтүлгөн бөлүгүн карайт. Үчүнчүсү анын траекториясын аныктайт ж.б.
Же болбосо, чексиз сандагы маалыматтар болсо, анда бардык мүмкүн болгон натыйжалар үчүн бир тармакты үйрөтүү мүмкүн болмок (албетте, мындай массивди чогултуу мүмкүн эмес).
Ажыратуу ыкмасы бизге айтат - келгиле, тармакты өзү түшүнүктөрдү айырмалай алышы үчүн үйрөтөлү. Ошентип, ал видеонун негизинде кыстарма түзө турган, анда бир аймак иш-аракетти аныктап, өз убагында полдогу позицияны аныктап, адамдын боюн жана жынысын аныктайт. Ошол эле учурда, тренинг учурунда, мен дээрлик тармакты мындай негизги түшүнүктөр менен эмес, тескерисинче, аймактарды бөлүп көрсөтүүнү жана топтоону каалайт элем. Мындай макалалар аз эмес (алардын айрымдары , , ) жана жалпысынан алар кыйла теориялык.
Бирок бул багыт, жок эле дегенде, теориялык жактан, башында саналып өткөн көйгөйлөрдү камтышы керек.
"Дубалдын түсү/полдун түсү/объекттин формасы/объекттин түсү/ж.б." параметрлери боюнча сүрөттүн бөлүнүшү.
"Көлөмү, кашы, багыты, терисинин түсү ж.
Прочее
Кандайдыр бир жол менен маалымат базасын кыскартууга, гетерогендүү маалыматтар менен иштөөгө ж.
көңүл. Муну өзүнчө ыкма катары бөлүп кароонун мааниси жок болсо керек. Жөн гана башкаларды жакшыртуучу ыкма. Ага көптөгөн макалалар арналган (,,). Көңүл бурчу нерсе, тренинг учурунда тармактын өзгөчө маанилүү объекттерге реакциясын күчөтүү. Көбүнчө кандайдыр бир тышкы максаттуу белгилөө же кичинекей тышкы тармак менен.
3D симуляциясы. Эгерде сиз жакшы 3D кыймылдаткычын жасасаңыз, анда сиз аны менен машыгуу маалыматтарынын 90% камтый аласыз (ал тургай, мен маалыматтардын дээрлик 99% жакшы кыймылдаткыч менен камтылган мисалды көрдүм). 3D кыймылдаткычында машыккан тармакты реалдуу маалыматтарды колдонуу менен кантип иштетүү керектиги боюнча көптөгөн идеялар жана хакерлер бар (тактоо, стилди өткөрүү ж.б.). Бирок көп учурда жакшы кыймылдаткычты жасоо маалымат чогултууга караганда бир нече ирет кыйыныраак. Кыймылдаткычтар жасалган мисалдар:
Робот окутуу (, )
үйрөтүү дүкөндө товарлар (бирок биз жасаган эки долбоордо биз ансыз оңой эле жасай алганбыз).
Тесладагы тренинг (кайрадан, жогорудагы видео).
табылгалары
Бүт макала кандайдыр бир мааниде корутунду болуп саналат. Кыязы, мен айткым келген негизги билдирүү "акысыз нерселер бүттү, нейрондор мындан ары жөнөкөй чечимдерди бербейт". Эми биз татаал чечимдерди кабыл алуу үчүн талыкпай иштешибиз керек. Же татаал илимий изилдөөлөрдү жасап, талыкпай эмгектен.
Жалпысынан алганда, тема талаш-тартыш болуп саналат. Балким, окурмандар дагы кызыктуу мисалдар бар?
Source: www.habr.com