Július 3-tól július 16-ig a Nyizsnyij Novgorod Állami Egyetemen. N.I. Lobacsevszkij adott otthont az Intel Interuniversity Summer School on Computer Vision - Computer Vision nyári táborának, amelyen több mint 100 diák vett részt. Az iskola a Nyizsnyij Novgorodi egyetemek műszaki hallgatóit célozta meg, akik érdeklődnek a számítógépes látás, a mély tanulás, a neurális hálózatok, az Intel OpenVINO, az OpenCV iránt.
Ebben a cikkben megosztjuk, hogyan zajlott a kiválasztás az Iskolába, mit tanultak, mit csináltak a tanulók a gyakorlati részben, valamint a védésen bemutatott projektekről is.
A kiválasztási folyamat és a részvételi formák
Úgy döntöttünk, hogy a gyerekek választhatnak, hogy két képzési formára jelentkezzenek: nappali és részidős oktatásra. A rész- és részidős képzésekre a hallgatók nem estek át a kiválasztásra, és azonnal beiratkoztak. Csak előadásokon vettek részt, hétköznap, délelőtt. A gyerekeknek lehetőségük volt gyakorlati feladatok elvégzésére és beküldésére is tanárok általi tesztelésre.
A nappali tagozatos vizsgára való jogosultsághoz a srácoknak el kellett jönniük az Intel irodájába, hogy interjút készítsenek a bizottsággal. A rész- és részmunkaidős formához képest az volt a különbség, hogy az előadások mellett a tábor résztvevői gyakorlati feladatokon is részt vettek kurátorokkal - UNN tanárokkal és mérnökökkel az Inteltől. A második héten véget értek a gyakorlati feladatok és elkezdődtek a projektek, melyeken 3 fős csoportokban dolgoztak a résztvevők.
Az interjú során matematikával és programozással kapcsolatos kérdéseket tettek fel a diákoknak, és egy olyan feladatot is kaptak, amelyet a helyszínen kellett megoldani. Érdemes megjegyezni, hogy a bizottság szoftvermérnökökből, algoritmusmérnökökből és egyetemi tanárokból állt. N.I. Lobacsevszkij, így az interjú sokrétűnek és rendkívülinek bizonyult. A kérdező szemszögéből érdekes volt a hallgatók számítógépes látással kapcsolatos alapvető műszaki ismereteinek megismerése, így olyan témakörök, mint a C++/STL, OOP, alapvető algoritmusok és adatstruktúrák, lineáris algebra, matematikai elemzés, diszkrét matematika, ill. sokkal többet kérdeztek. A feladatok között kiemelt feladat volt a tanulók érvelésének feltárása. A bizottságot az is érdekelte, hol tanultak, milyen tapasztalataik voltak az iskola előtt (például tudományos tevékenység), és hogyan lehet ezt közvetlenül alkalmazni a számítógépes látás területén.
A nappali tagozatos válogatón összesen 78 hallgató vett részt, míg nappali tagozatos helyek 24. A versenyben 3 tanuló vett részt. A résztvevőkre vonatkozó statisztikák, valamint a teljes és részmunkaidős részvételi formák vizuális különbségei az alábbi táblázatban láthatók:
Mit csináltak a srácok 2 hétig?
A hallgatók elméletben és gyakorlatban megismerkedtek a számítógépes látás fő feladataival: a képosztályozással, a tárgyfelismeréssel és ezek követésével. Az egyes témákhoz tartozó előadás-összetevő rendszerint tartalmazott egy történelmi kirándulást a számítógépes látásproblémák klasszikus megoldási módszereinek, valamint a gépi tanulás és neurális hálózatok segítségével történő megoldás modern módszereinek fejlesztésébe. Az elméletet a gyakorlat követte, ahol a hallgatók letöltötték a népszerű neurális hálózati modelleket és az OpenCV könyvtár DNN moduljával elindították azokat, egyedi alkalmazást készítve.
Az összes előadás prezentációja nyilvános adattárban került elhelyezésre , így a tanulók mindig megnyithatják és megtekinthetik a szükséges információkat, akár iskola után is. Előadókkal, gyakorló tanárokkal és Intel mérnökeivel élőben és chaten is lehetett kommunikálni a Gitteren. A projekthét időzítése is jól sikerült: szerdán kezdődött, ami lehetővé tette az előadásoktól mentes hétvége hasznos eltöltését, javítva a csapatdöntéseket. A legfelelősségteljesebb résztvevők a szombat felét az Intel irodájában töltötték, amiért még aznap egy előre nem tervezett kirándulást kaptak.
Milyen volt a projektek védelme?
Minden csapat kapott 10 percet, hogy megbeszéljék, mit csináltak a projekt során, és mire jutottak. Ez után 5 perc kezdődött, amely alatt a cég mérnökei kérdéseket tettek fel a srácoknak, és apró tippeket adtak, amelyek segíthetnek nekik javítani projektjükön, vagy megelőzni a meglévő hibákat a jövőben. Mindegyik srác kipróbálta magát előadóként, bemutatva tudását a számítógépes látás területén, és megerősítve hozzájárulását a projekt létrehozásához, ami segített nekünk mérlegelni és következtetéseket levonni az iskola minden résztvevőjéről. A védekezés 3 órán keresztül zajlott, de mi vigyáztunk a srácokra, és egy rövid kávészünettel oldottuk a feszültséget, ahol a srácok levegőt vehettek és megbeszélhették a problémákat vezető Intel szakembereivel.
A nap végén egy első, két második és három harmadik helyezést adtunk ki. Elég nehéz volt választani, mert minden csapatnak, minden projektnek megvolt a maga íze, és a prezentáció eredetisége különbözött meg.
Főállású CV Camp résztvevők, projekt védelem, Intel iroda Nyizsnyij Novgorodban
Bemutatott projektek
Okos kesztyű
Detektor és nyomkövető használata OpenCV használatával az űrben való vizuális navigációhoz. A csapat két kamera segítségével mélységérzékelési képességgel is rendelkezik. A Microsoft Speech API-t használják felügyeleti felületként.
Receptor
Ételek észlelése és egy kész étel receptjének kiválasztása, beleértve a talált összetevőket. A srácok nem ijedtek meg a feladattól, és egy héten belül önállóan megjelöltek elegendő számú képet, betanították a detektort a TensorFlow Object Detection API segítségével, és logikát adtak a recept megtalálásához. Egyszerű és ízléses!
Szerkesztő 2.0
A projekt résztvevői egy sor neurális hálózatot (arckeresés, az arckép kulcspontok szerinti normalizálása, az arckép-leíró kiszámítása) használtak az arcfelismeréshez annak a feladatnak a részeként, hogy töredékeket keressenek hosszú videókban, amelyekben egy bizonyos személy látható. ajándék. A kifejlesztett rendszer segédrendszerként használható a videószerkesztéshez, megszabadítva attól, hogy az embernek magának kelljen megnéznie a videót a szükséges töredékek után kutatva. Neurális hálózatok használata innen , a csapatnak sikerült nagy sebességet elérnie az alkalmazásban: egy Intel Core i5 processzorral szerelt laptopon a videófeldolgozás sebessége 58 képkocka/s volt.
Anonimizáló
Szemüveg és maszk rajzolása az ember arcára. Az MTCNN hálózatot arcok és kulcspontok észlelésére használták.
Névtelen
Egy újabb érdekes munka az identitás elrejtése témájában. Ez a csapat több lehetőséget is bevezetett az arcok torzítására: elmosódást és pixelezést. A srácok egy hét alatt nem csak kitalálták a feladatot, hanem módot is biztosítottak egy adott személy anonimizálására (arcfelismeréssel).
Melegítsen fel
A „Warm-up” projektcsapat megoldotta a sportasszisztens létrehozását a fejdöntési gyakorlathoz. És még ha ennek az alkalmazásnak a végső alkalmazása még mindig ellentmondásos, átfogó tanulmány készült, amely különböző arcfelismerő algoritmusokat hasonlított össze: Haar-kaszkádokat, TensorFlow-hálózatokat, OpenCV-t és OpenVINO-t. Nem csak fizikálisan, de lelkileg is bemelegítettünk!
Alsó 800
Nyizsnyij Novgorod, a város, ahol az iskola működött, 2 év múlva lesz 800 éves, ami azt jelenti, hogy elegendő idő van egy érdekes projekt megvalósítására. Arra kértük a gyerekeket, hogy gondolkodjanak el egy útmutató elkészítésének feladatán, amely az épületek homlokzatának képe alapján tud tájékoztatást adni arról, hogy milyen tárgy látható a képen, és milyen tények ismertek róla. Véleményünk szerint ez a feladat volt az egyik legnehezebb, mivel a klasszikus számítógépes látáshoz kapcsolódik, de a csapat megfelelő eredményt ért el.
Kő papír olló
A tervezési munka elvégzésének szigorú időkorlátai ellenére ez a csapat nem félt egy kísérlettől sem, hogy megtanítsa saját neurális hálózatát a kézpozíciók osztályozására egy jól ismert játékban.
A résztvevők visszajelzései
Megkértük a különböző kurzusok hallgatóit, hogy osszák meg benyomásaikat a nyári iskoláról:
Nemrég volt szerencsém részt venni az Intel Computer Vision nyári táborban, és csodálatos élmény volt. Rengeteg új ismeretet és készségeket szereztünk önéletrajz, szoftvertelepítés, hibakeresés területén, munkakörnyezetben is elmerültünk, valós problémákkal szembesültünk, megbeszéltük a megoldási lehetőségeket a kollégákkal, iskolai tanárokkal.Van egy mítosz, miszerint a programozó munkája kizárólag a számítógéppel való kommunikációból áll. Ez azonban egyáltalán nem így van. Kreatív munkánk elválaszthatatlan az emberekkel való kommunikációtól. A kommunikáció révén egyedi tudásra tehettek szert. És az iskola ezen komponense tetszett a legjobban. Van azonban egy hátránya... az edzés befejezése után folytatni akartam! A DL elméleti ismeretek és az önéletrajzban szerzett gyakorlati ismeretek mellett képet kaptam arról, hogy a matematika mely területeire kell kiemelt figyelmet fordítani, és mely technológiákat érdemes tanulni. Az Intel mérnökeinek és kutatóinak elhivatottsága, professzionalizmusa és munkájuk iránti szeretete befolyásolta az IT-irányválasztásomat. Ezért szeretnék köszönetet mondani az iskola minden szervezőjének.
Krisztina, 1. évfolyam, HSE
Ilyen rövid idő alatt az iskola maximális tájékoztatást és gyakorlatot tudott nyújtani a számítógépes látás témakörében. És bár az alapismeretekre készült, az előadások sok olyan technikai anyagot tartalmaztak, amelyet az ember szeretne megérteni és több időt tölteni a tanulással. Az iskola mentorai és előadói lelkesen válaszoltak minden kérdésre és kommunikáltak a hallgatókkal. Nos, a záróprojekt befejezése közben bele kellett zuhannom a kész alkalmazás fejlesztésének dzsungelébe, és olyan nehézségekkel kellett szembenéznem, amelyek nem mindig merülnek fel a tanulás során. Csapatunk végül jelentkezett a „kő-papír-olló” játék számítógépes játékára. Megtanítottunk egy modellt egy figura felismerésére webkamerán, logikát írtunk, és az opencv keretrendszer alapján készítettünk egy felületet. Az iskola elgondolkodtatót és vektort adott a későbbi tanuláshoz és fejlődéshez. Nagyon örülök, hogy részt vettem.
Szergej, 3. évfolyam, UNN
Az iskola nem igazán váltotta be az elvárásaimat. Az előadásokat meglehetősen tapasztalt Intel fejlesztők tartották. Az előadókkal való kommunikáció mindig is érdekes és hasznos volt, a mentorok készségesek és mindig készek segíteni, az előadásokat kellemes hallgatni, a témák meglehetősen relevánsak és informatívak. De néhány dolgot már tudtam, azokat pedig, amiket nem tudtam, a gyakorlat semmilyen módon nem támasztott alá, ezért az igazán jó anyagot soha nem értettem meg és nem is tanulmányoztam. Igen, a legtöbb információ információs célokat szolgál, hogy aztán otthon is kipróbálhassa, vagy egyszerűen csak elképzelése legyen arról, hogy miről is van szó, de mégis szerettem volna néhány létező algoritmust egyedül megvalósítani a tapasztalt tanárok felügyelete, akik jó tanácsot adhatnak vagy segíthetnek, ha valami történik, nem működik. Ennek eredményeként a gyakorlatban kész megoldásokat használtak, és a kódot, mondhatni, előre megírták nekünk, csak kicsit módosítani kellett. A projektek voltak a legegyszerűbbek, és ha az ember megpróbálja valamilyen módon bonyolítani a feladatot, akkor nincs elég ideje többé-kevésbé stabil állapotba hozni, ahogyan nálunk is történt.
Általában az egész iskola valami nem túl komoly fejlesztői játéknak tűnik, és ez pontosan a gyakorlati rész hibája. Úgy gondolom, hogy növelni kell az iskolában eltöltött időt, bonyolítani a gyakorlati anyagot, hogy tudj és kell is írni valamit, valami igazán összetettet és szükségeset, és ne használj készeket, hogy a gyakorlat gördülékenyebb legyen a növekedésben. komplexitás, a pályázati projektek témáit már az első napokban ki kell adni, hogy az előadások és gyakorlatok anyaga azonnal felhasználható legyen a projektjeiben, és több idő maradjon a megvalósításra. Ekkor az iskolában eltöltött idő jó élményként szolgál majd a szakmabeliek számára.
Dmitrij, 1. éves mesterképzés, NSTU
Az Intel nyári iskolája remek alkalom volt arra, hogy ezt a nyarat azzal töltsd, amit szeretsz. Maga az a tény, hogy az Intel munkatársai tartották az előadásokat a számítógépes látás területén történő programozással kapcsolatban, nem hagyott nyugodni, szerettem volna a legtöbbet kihozni az egész folyamatból, bár néha nehéz volt. Minden nap nagyon gyorsan, észrevehetetlenül és gyümölcsözően telt. A saját projekt megvalósításának lehetősége lehetővé tette számomra, hogy egy csapatban dolgozhassak csodálatos kurátorokkal és más iskolai résztvevőkkel. Ezt a két hetet röviden így jellemezhetjük: érdekes és röpke.
Elizaveta, 2. évfolyam, UNN
Ősszel (október-november) várja Önt a Delta oktatási program, melyről tájékozódhat honlapunkon. . Maradjon velünk!
Forrás: will.com