Julkaisemme tänään Ilja Segalovichin mukaan nimetyn tieteellisen palkinnon . Se myönnetään saavutuksista tietojenkäsittelytieteen alalla. Perus- ja jatko-opiskelijat tai nimittää tieteellisiä valvojia. Palkitut valitsevat akateemisen yhteisön ja Yandexin edustajat. Tärkeimmät valintakriteerit: julkaisut ja esitykset konferensseissa sekä panos yhteisön kehittämiseen.
Ensimmäinen palkintojenjakotilaisuus järjestetään huhtikuussa. Osana palkintoa nuoret tutkijat saavat 350 tuhatta ruplaa, ja lisäksi he voivat mennä kansainväliseen konferenssiin, työskennellä mentorin kanssa ja suorittaa harjoittelun Yandexin tutkimusosastolla. Tieteelliset valvojat saavat 700 tuhatta ruplaa.
Palkinnon julkaisun yhteydessä päätimme keskustella täällä Habressa tietojenkäsittelytieteen menestymisen kriteereistä. Jotkut Habr-lukijat tuntevat jo nämä kriteerit, kun taas toisilla saattaa olla niistä väärä käsitys. Tänään kuromme umpeen tätä kuilua – käsittelemme kaikkia pääaiheita, mukaan lukien artikkelit, konferenssit, aineistot ja tieteellisten ajatusten siirtäminen palveluihin.
Tietojenkäsittelytieteen alan tutkijoille tärkein menestyskriteeri on heidän tieteellisten töidensä julkaiseminen yhdessä parhaista kansainvälisistä konferensseista. Tämä on ensimmäinen "tarkistuspiste" tutkijan työn tunnustamiselle. Esimerkiksi koneoppimisen alalla yleensä erotetaan International Conference on Machine Learning (ICML) ja Conference on Neural Information Processing Systems (NeurIPS, entinen NIPS). On monia konferensseja ML:n tietyistä alueista, kuten tietokonenäkö, tiedonhaku, puhetekniikka, konekäännös jne.
Miksi julkaista ideasi
Tietojenkäsittelytieteestä kaukana olevilla ihmisillä saattaa olla väärä käsitys, että arvokkaimmat ideat on parempi pitää salassa ja pyrkiä hyötymään niiden ainutlaatuisuudesta. Todellinen tilanne alallamme on kuitenkin juuri päinvastainen. Tieteilijän auktoriteetti arvioidaan hänen teostensa merkityksen perusteella, sen mukaan, kuinka usein muut tutkijat siteeraavat hänen artikkelejaan (viittausindeksi). Tämä on hänen uransa tärkeä piirre. Tutkija etenee ammatillisia tikkaita ylöspäin ja tulee arvostetummaksi yhteisössään vain, jos hän jatkuvasti tuottaa vahvaa työtä, joka julkaistaan, tulee tunnetuksi ja muodostaa perustan muiden tutkijoiden työlle.
Monet huippuartikkelit (ehkä useimmat) ovat tulosta eri yliopistojen ja yritysten tutkijoiden yhteistyöstä ympäri maailmaa. Tärkeä ja erittäin arvokas hetki tutkijan uralla on, kun hän saa mahdollisuuden löytää ja seuloa ideoita itse kokemuksensa pohjalta - mutta tämänkin jälkeen kollegat tarjoavat hänelle korvaamatonta apua. Tiedemiehet auttavat toisiaan kehittämään ideoita, kirjoittamaan artikkeleita yhteistyössä – ja mitä suurempi tiedemiehen panos tieteeseen, sitä helpompi hänen on löytää samanhenkisiä ihmisiä.
Lopuksi tiedon tiheys ja saatavuus on nyt niin suuri, että eri tutkijat keksivät samanaikaisesti hyvin samanlaisia (ja todella arvokkaita) tieteellisiä ideoita. Jos et julkaise ideaasi, joku muu julkaisee sen melkein varmasti puolestasi. "Voittaja" ei usein ole se, joka keksi innovaation hieman aikaisemmin, vaan se, joka julkaisi sen hieman aikaisemmin. Tai - se, joka onnistui paljastamaan idean mahdollisimman täydellisesti, selkeästi ja vakuuttavasti.
Artikkelit ja tietojoukot
Tieteellinen artikkeli rakentuu siis tutkijan esittämän pääidean ympärille. Tämä idea on hänen panoksensa tietojenkäsittelytieteeseen. Artikkeli alkaa idean kuvauksella, joka on muotoiltu muutamaan lauseeseen. Tätä seuraa johdanto, joka kuvaa ehdotetun innovaation avulla ratkaistuja ongelmia. Kuvaus ja johdanto on yleensä kirjoitettu yksinkertaisella kielellä, jota laaja yleisö ymmärtää. Johdannon jälkeen on tarpeen formalisoida matemaattisella kielellä esitetyt ongelmat ja ottaa käyttöön tiukka merkintätapa. Sitten sinun on esiteltyjen merkintöjen avulla luotava selkeä ja kattava lausunto ehdotetun innovaation olemuksesta ja tunnistettava erot aikaisempiin samankaltaisiin menetelmiin. Kaikki teoreettiset väitteet on joko tuettava viittauksilla aiemmin koottuihin todisteisiin tai todistettava itsenäisesti. Tämä voidaan tehdä tietyin olettamuksin. Voit esimerkiksi antaa todisteen tapauksesta, jossa harjoitusdataa on ääretön määrä (ilmeisesti saavuttamaton tilanne) tai ne ovat täysin riippumattomia toisistaan. Artikkelin loppupuolella tiedemies puhuu kokeellisista tuloksista, jotka hän pystyi saamaan.
Jotta konferenssin järjestäjien rekrytoimat arvioijat todennäköisemmin hyväksyisivät artikkelin, sillä on oltava yksi tai useampi attribuutti. Avaintekijä, joka lisää hyväksynnän mahdollisuuksia, on ehdotetun idean tieteellinen uutuus. Usein uutuutta arvioidaan suhteessa jo olemassa oleviin ideoihin - ja sen arviointityötä ei tee arvioija, vaan artikkelin kirjoittaja itse. Ihannetapauksessa kirjoittajan tulisi kertoa artikkelissa yksityiskohtaisesti olemassa olevista menetelmistä ja, jos mahdollista, esitellä ne menetelmänsä erityistapauksina. Siten tiedemies osoittaa, että hyväksytyt lähestymistavat eivät aina toimi, että hän yleisti ne ja ehdotti laajempaa, joustavampaa ja siten tehokkaampaa teoreettista muotoilua. Jos uutuus on kiistaton, niin muuten arvostelijat eivät arvioi artikkelia kovin valikoivasti - he voivat esimerkiksi sulkea silmänsä huonolta englannista.
Uutuuden vahvistamiseksi on hyödyllistä sisällyttää vertailu olemassa oleviin menetelmiin yhdessä tai useammassa tietojoukossa. Jokaisen niistä tulee olla avoin ja hyväksytty akateemisessa ympäristössä. Siellä on esimerkiksi ImageNet-kuvavarasto ja tietokannat sellaisista instituuteista kuin Modified National Institute of Standards and Technology (MNIST) ja CIFAR (Canadian Institute for Advanced Research). Vaikeutena on, että tällainen "akateeminen" tietojoukko poikkeaa usein sisällön rakenteeltaan alan käsittelemistä todellisista tiedoista. Erilaiset tiedot tarkoittavat erilaisia tuloksia ehdotetusta menetelmästä. Tutkijat, jotka työskentelevät osittain teollisuudessa, yrittävät ottaa tämän huomioon ja lisäävät toisinaan vastuuvapauslausekkeita, kuten "tietojemme perusteella tulos on sellainen ja sellainen, mutta julkisessa tietojoukossa - sellaista ja sellaista."
Tapahtuu, että ehdotettu menetelmä on täysin "räätälöity" avoimeen tietokantaan eikä toimi todellisilla tiedoilla. Tätä yleistä ongelmaa voi torjua avaamalla uusia edustavampia tietokokonaisuuksia, mutta usein puhutaan yksityisestä sisällöstä, jota yrityksillä ei yksinkertaisesti ole oikeutta avata. Joissakin tapauksissa he suorittavat (joskus monimutkaisen ja huolellisen) tietojen anonymisoinnin - ne poistavat kaikki tiettyyn henkilöön viittaavat fragmentit. Esimerkiksi valokuvien kasvot ja numerot on poistettu tai tehty lukukelvottomaksi. Lisäksi, jotta tietojoukko ei olisi vain kaikkien saatavilla, vaan siitä tulisi tutkijoiden standardi, josta on kätevää vertailla ideoita, on välttämätöntä paitsi julkaista se, myös kirjoittaa siitä erillinen lainattu artikkeli. se ja sen edut.
Pahempaa on, kun tutkittavasta aiheesta ei ole avoimia aineistoja. Silloin arvioija voi hyväksyä vain kirjoittajan uskossa esittämät tulokset. Teoreettisesti kirjoittaja voisi jopa yliarvioida ne ja jäädä huomaamatta, mutta akateemisessa ympäristössä tämä on epätodennäköistä, koska se on vastoin valtaosan tiedemiehistä halua kehittää tiedettä.
Useilla ML:n alueilla, mukaan lukien tietokonenäkö, on myös yleistä liittää linkkejä koodiin (yleensä GitHubiin) artikkeleihin. Artikkelit itsessään sisältävät joko hyvin vähän koodia tai ovat pseudokoodia. Ja tässä taas syntyy vaikeuksia, jos artikkelin on kirjoittanut tutkija yrityksestä, ei yliopistosta. Yrityksessä tai käynnistyksessä kirjoitettu koodi on oletusarvoisesti merkitty NDA. Tutkijoiden ja heidän kollegoidensa on tehtävä lujasti töitä erottaakseen kuvattuun ideaan liittyvä koodi sisäisistä ja varmasti suljetuista arkistoista.
Julkaisumahdollisuus riippuu myös valitun aiheen relevanssista. Relevanssi määräytyy pitkälti tuotteista ja palveluista: jos yritys tai startup on kiinnostunut rakentamaan uutta palvelua tai parantamaan olemassa olevaa artikkelin idean perusteella, se on plussaa.
Kuten jo mainittiin, tietojenkäsittelytieteen paperit kirjoitetaan harvoin yksin. Mutta yleensä yksi kirjoittajista käyttää paljon enemmän aikaa ja vaivaa kuin muut. Hänen panoksensa tieteelliseen uutuuteen on suurin. Kirjoittajaluettelossa tällainen henkilö ilmoitetaan ensin - ja tulevaisuudessa artikkeliin viitattaessa he voivat vain mainita hänet (esimerkiksi "Ivanov et al" - "Ivanov ja muut" käännetty latinasta). Kuitenkin myös muiden panokset ovat erittäin arvokkaita - muuten on mahdotonta olla kirjoittajalistalla.
Tarkastusprosessi
Paperien vastaanottaminen lopetetaan yleensä useita kuukausia ennen konferenssia. Kun artikkeli on lähetetty, arvioijilla on 3–5 viikkoa aikaa lukea, arvioida ja kommentoida sitä. Tämä tapahtuu yhden sokean järjestelmän mukaan, kun kirjoittajat eivät näe arvioijien nimiä, tai kaksoissokkojärjestelmässä, kun arvioijat eivät itse näe kirjoittajien nimiä. Toista vaihtoehtoa pidetään puolueettomampana: useat tieteelliset artikkelit ovat osoittaneet, että kirjoittajan suosio vaikuttaa arvioijan päätökseen. Hän voi esimerkiksi ajatella, että tiedemies, jolla on paljon jo julkaistuja artikkeleita, on a priori korkeamman arvosanan arvoinen.
Lisäksi jopa kaksoissokkoutuksessa arvioija todennäköisesti arvaa kirjoittajan, jos he työskentelevät samalla alalla. Lisäksi artikkeli saattaa olla jo arvosteluhetkellä julkaistu arXiv-tietokannassa, joka on suurin tieteellisten julkaisujen arkiston. Konferenssin järjestäjät eivät kiellä tätä, mutta suosittelevat eri otsikon ja eri abstraktin käyttöä arXiv-julkaisuissa. Mutta jos artikkeli on lähetetty sinne, sen löytäminen ei silti ole vaikeaa.
Aina useita arvioijia arvioimassa artikkelia. Yhdelle heistä on annettu meta-arvioijan rooli, jonka täytyy vain tarkistaa kollegoidensa tuomiot ja tehdä lopullinen päätös. Jos arvioijat ovat eri mieltä artikkelista, meta-arvioija voi myös lukea sen täydelliseksi.
Joskus arvioinnin ja kommenttien tarkastelun jälkeen kirjoittajalla on mahdollisuus käydä keskustelua arvioijan kanssa; on jopa mahdollisuus saada hänet muuttamaan päätöstään (tällainen järjestelmä ei kuitenkaan toimi kaikissa konferensseissa, ja vielä vähemmän on mahdollista vaikuttaa vakavasti tuomioon). Keskustelussa ei voi viitata muihin tieteellisiin töihin, lukuun ottamatta niitä, joihin artikkelissa on jo viitattu. Voit vain "auttaa" arvioijaa ymmärtämään artikkelin sisällön paremmin.
Konferenssit ja lehdet
Tietojenkäsittelytieteen artikkeleita lähetetään useammin konferensseihin kuin tieteellisiin aikakauslehtiin. Tämä johtuu siitä, että aikakauslehtijulkaisuille on vaikeampi täyttää vaatimukset ja vertaisarviointiprosessi voi kestää kuukausia tai jopa vuosia. Tietojenkäsittelytiede on erittäin nopeasti kehittyvä ala, joten kirjoittajat eivät yleensä ole valmiita odottamaan niin kauan julkaisua. Konferenssiin jo hyväksyttyä artikkelia voidaan kuitenkin täydentää (esimerkiksi esittämällä tarkempia tuloksia) ja julkaista lehdessä, jossa tilarajoitukset eivät ole niin tiukkoja.
Tapahtumat konferenssissa
Hyväksyttyjen artikkeleiden tekijöiden konferenssiin osallistumisen muodon päättävät arvioijat. Jos artikkeli saa vihreää valoa, sinulle osoitetaan useimmiten julisteteline. Juliste on staattinen dia, jossa on yhteenveto artikkelista ja kuvista. Jotkut kokoustilat ovat täynnä pitkiä julistetelineiden rivejä. Kirjoittaja viettää merkittävän osan ajastaan julisteensa lähellä kommunikoimalla artikkelista kiinnostuneiden tutkijoiden kanssa.
Hieman arvostetumpi osallistumisvaihtoehto on salamapuhe. Jos arvioijat pitävät artikkelia pikaraportin arvoisena, kirjoittajalla on noin kolme minuuttia aikaa puhua laajalle yleisölle. Toisaalta salamapuhe on hyvä tilaisuus kertoa ideastasi paitsi niille, jotka kiinnostuivat julisteesta omasta aloitteestaan. Toisaalta proaktiiviset julistevierailijat ovat valmistautuneempia ja syvällisempiä aiheeseesi kuin keskimääräinen kuuntelija salissa. Siksi pikaraportissa sinulla on vielä oltava aikaa saattaa ihmiset ajan tasalla.
Yleensä kirjoittajat nimeävät salamapuheensa lopussa julistenumeron, jotta kuuntelijat löytävät sen ja ymmärtävät artikkelin paremmin.
Viimeinen, arvostetuin vaihtoehto on juliste ja idean täysimittainen esittely, kun tarinan kertomiseen ei enää tarvitse kiirehtiä.
Mutta tietysti tiedemiehet - myös hyväksyttyjen artikkeleiden kirjoittajat - tulevat seuraavaan konferenssiin paitsi esittelemään. Ensinnäkin heillä on tapana löytää alaansa liittyviä julisteita ilmeisistä syistä. Ja toiseksi, heidän on tärkeää laajentaa kontaktilistaansa yhteistä akateemista työtä varten tulevaisuudessa. Tämä ei ole metsästystä - tai ainakaan sen ensimmäinen vaihe, jota seuraa ainakin molempia osapuolia hyödyttävä ajatusten vaihto, kehitys ja yhteinen työ yhden tai useamman artikkelin parissa.
Samaan aikaan tuottava verkostoituminen huippukonferenssissa on vaikeaa vapaa-ajan täydellisen puutteen vuoksi. Jos koko päivän esittelyissä ja julistekeskusteluissa vietettyään tiedemies on säilyttänyt voimansa ja on jo voittanut jet lagin, hän menee johonkin monista juhlista. Niitä isännöivät yritykset - sen seurauksena osapuolet ovat usein metsästyvämpiä. Samaan aikaan monet vieraat eivät käytä niitä ollenkaan uuden työn löytämiseen, vaan jälleen verkostoitumiseen. Illalla ei ole enää raportteja ja julisteita - kiinnostava asiantuntija on helpompi "saataa".
Ideasta tuotantoon
Tietojenkäsittelytiede on yksi harvoista toimialoista, jossa yritysten ja startup-yritysten intressit liittyvät vahvasti akateemiseen ympäristöön. NIPS, ICML ja muut vastaavat konferenssit houkuttelevat paljon ihmisiä teollisuudesta, ei vain yliopistoista. Tämä on tyypillistä tietojenkäsittelytieteen alalle, mutta päinvastoin useimmille muille tieteille.
Toisaalta kaikki artikkeleissa esitetyt ideat eivät mene heti palveluiden luomiseen tai parantamiseen. Jo yhden yrityksen sisälläkin tutkija voi ehdottaa palvelusta kollegoilleen tieteellisesti läpimurto ideaa ja saada sen toteuttamisesta kieltäytymisen useista syistä. Yksi niistä on jo mainittu täällä - tämä on ero "akateemisen" tietojoukon, johon artikkeli kirjoitettiin, ja todellisen tietojoukon välillä. Lisäksi idean toteuttaminen voi viivästyä, vaatia paljon resursseja tai parantaa vain yhtä indikaattoria muiden mittareiden huonontumisen kustannuksella.
Tilanteen pelastaa se, että monet kehittäjät ovat itsekin vähän tutkijoita. He osallistuvat konferensseihin, puhuvat samaa kieltä tutkijoiden kanssa, ehdottavat ideoita, osallistuvat joskus artikkeleiden luomiseen (esimerkiksi koodin kirjoittamiseen) tai jopa toimivat itse kirjoittajina. Jos kehittäjä on uppoutunut akateemiseen prosessiin, seuraa mitä tutkimusosastolla tapahtuu, sanalla sanoen - jos hän osoittaa vastaliikettä tiedemiehiä kohtaan, niin tieteellisten ideoiden muuttamisen kierre uusiksi palvelukyvyiksi lyhenee.
Toivotamme kaikille nuorille tutkijoille onnea ja suuria saavutuksia työssään. Jos tämä viesti ei kertonut sinulle mitään uutta, olet ehkä jo julkaissut huippukonferenssissa. Rekisteröidy itse ja nimeä tieteelliset valvojat.
Lähde: will.com