Dziś uruchamiamy nagrodę naukową imienia Ilji Segalowicza . Będzie przyznawana za osiągnięcia w dziedzinie informatyki. Studenci studiów licencjackich i podyplomowych lub mianować opiekunów naukowych. Laureaci zostaną wybrani przez przedstawicieli społeczności akademickiej i Yandex. Główne kryteria wyboru: publikacje i wystąpienia na konferencjach oraz wkład w rozwój społeczności.
Pierwsza ceremonia wręczenia nagród odbędzie się w kwietniu. W ramach nagrody młodzi naukowcy otrzymają 350 tysięcy rubli, a ponadto będą mogli wyjechać na międzynarodową konferencję, pracować z mentorem i odbyć staż w dziale badawczym Yandex. Opiekunowie naukowi otrzymają 700 tysięcy rubli.
Z okazji ogłoszenia nagrody postanowiliśmy porozmawiać tutaj na Habré o kryteriach sukcesu w świecie informatyki. Niektórzy czytelnicy Habr znają już te kryteria, podczas gdy inni mogą mieć na ich temat fałszywe wrażenie. Dziś wypełnimy tę lukę – poruszymy wszystkie główne tematy, obejmujące artykuły, konferencje, zbiory danych i transfer idei naukowych do usług.
Dla naukowców zajmujących się informatyką głównym kryterium sukcesu jest publikacja ich pracy naukowej na jednej z czołowych konferencji międzynarodowych. Jest to pierwszy „punkt kontrolny” uznania pracy badacza. Przykładowo, w ogólnym obszarze uczenia maszynowego wyróżnia się Międzynarodową Konferencję na temat uczenia maszynowego (ICML) i Konferencję na temat systemów przetwarzania informacji neuronowych (NeurIPS, dawniej NIPS). Odbywa się wiele konferencji poświęconych konkretnym obszarom uczenia się maszynowego, takim jak widzenie komputerowe, wyszukiwanie informacji, technologia mowy, tłumaczenie maszynowe itp.
Po co publikować swoje pomysły
Osoby dalekie od informatyki mogą mieć błędne przekonanie, że najlepiej jest zachować w tajemnicy najcenniejsze pomysły i starać się czerpać korzyści z ich wyjątkowości. Jednak rzeczywista sytuacja w naszej branży jest dokładnie odwrotna. Autorytet naukowca ocenia się po znaczeniu jego prac, po tym, jak często jego artykuły są cytowane przez innych naukowców (indeks cytowań). To ważna cecha jego kariery. Badacz wspina się po szczeblach kariery zawodowej, zyskując większy szacunek w swoim środowisku, tylko jeśli konsekwentnie tworzy mocne prace, które są publikowane, stają się sławne i stanowią podstawę pracy innych naukowców.
Wiele najważniejszych artykułów (być może większość) jest wynikiem współpracy badaczy z różnych uniwersytetów i firm na całym świecie. Ważnym i bardzo cennym momentem w karierze badacza jest moment, w którym ma on możliwość samodzielnego wyszukiwania i przesiewania pomysłów w oparciu o swoje doświadczenie – ale nawet po tym jego współpracownicy nadal służą mu nieocenioną pomocą. Naukowcy pomagają sobie nawzajem w opracowywaniu pomysłów, wspólnie piszą artykuły - a im większy wkład naukowca w naukę, tym łatwiej mu znaleźć ludzi o podobnych poglądach.
Wreszcie gęstość i dostępność informacji jest obecnie tak duża, że różni badacze jednocześnie wpadają na bardzo podobne (i naprawdę wartościowe) pomysły naukowe. Jeśli nie opublikujesz swojego pomysłu, prawie na pewno ktoś inny opublikuje go za Ciebie. „Zwycięzcą” często nie jest ten, kto wpadł na innowację nieco wcześniej, ale ten, który ją nieco wcześniej opublikował. Lub - ten, któremu udało się ujawnić ideę tak pełni, jasno i przekonująco, jak to możliwe.
Artykuły i zbiory danych
Zatem artykuł naukowy zbudowany jest wokół głównej idei zaproponowanej przez badacza. Pomysł ten jest jego wkładem w informatykę. Artykuł rozpoczyna się od opisu pomysłu, ujętego w kilku zdaniach. Następnie następuje wprowadzenie opisujące zakres problemów rozwiązywanych za pomocą proponowanej innowacji. Opis i wprowadzenie są zazwyczaj napisane prostym językiem, zrozumiałym dla szerokiego grona odbiorców. Po wprowadzeniu należy sformalizować problematykę przedstawioną w języku matematycznym i wprowadzić ścisłą notację. Następnie, korzystając z wprowadzonych oznaczeń, należy stworzyć jasne i kompleksowe zestawienie istoty proponowanej innowacji oraz zidentyfikować różnice w stosunku do poprzednich, podobnych metod. Wszystkie twierdzenia teoretyczne muszą być poparte odniesieniami do wcześniej zebranych dowodów lub niezależnie udowodnione. Można tego dokonać przy pewnych założeniach. Można np. podać dowód dla przypadku, gdy istnieje nieskończona ilość danych uczących (sytuacja oczywiście nieosiągalna) lub są one od siebie całkowicie niezależne. Pod koniec artykułu naukowiec opowiada o wynikach eksperymentów, które udało mu się uzyskać.
Aby recenzenci wybrani przez organizatorów konferencji mieli większe szanse na akceptację artykułu, musi on posiadać jeden lub więcej atrybutów. Kluczowym czynnikiem zwiększającym szanse na akceptację jest nowatorstwo naukowe proponowanego pomysłu. Często nowość oceniana jest w odniesieniu do już istniejących pomysłów – a praca nad jej oceną nie jest wykonywana przez recenzenta, ale przez samego autora artykułu. Idealnie byłoby, gdyby autor szczegółowo opowiedział w artykule o istniejących metodach i, jeśli to możliwe, przedstawił je jako szczególne przypadki swojej metody. Naukowiec pokazuje zatem, że przyjęte podejścia nie zawsze się sprawdzają, że je uogólnił i zaproponował szersze, bardziej elastyczne, a przez to skuteczniejsze sformułowanie teoretyczne. Jeśli nowość jest niezaprzeczalna, w przeciwnym razie recenzenci ocenią artykuł nie tak wybrednie - na przykład mogą przymknąć oko na słabą angielszczyznę.
Aby podkreślić nowość, przydatne jest uwzględnienie porównania z istniejącymi metodami w jednym lub większej liczbie zbiorów danych. Każdy z nich powinien być otwarty i akceptowany w środowisku akademickim. Istnieje na przykład repozytorium obrazów ImageNet i bazy danych takich instytutów jak Modified National Institute of Standards and Technology (MNIST) i CIFAR (Canadian Institute For Advanced Research). Trudność polega na tym, że taki „akademicki” zbiór danych często różni się strukturą treści od rzeczywistych danych, z którymi ma do czynienia branża. Różne dane oznaczają różne wyniki proponowanej metody. Naukowcy, którzy częściowo pracują dla branży, próbują wziąć to pod uwagę i czasami zamieszczają zastrzeżenia, takie jak „w przypadku naszych danych wynik jest taki a taki, ale w publicznym zbiorze danych – taki a taki”.
Zdarza się, że proponowana metoda jest całkowicie „szyta” na otwartą bazę danych i nie działa na rzeczywistych danych. Z tym powszechnym problemem można walczyć, otwierając nowe, bardziej reprezentatywne zbiory danych, ale często mówimy o treściach prywatnych, których firmy po prostu nie mają prawa otwierać. W niektórych przypadkach dokonują (czasami skomplikowanej i żmudnej) anonimizacji danych – usuwają wszelkie fragmenty wskazujące na konkretną osobę. Na przykład twarze i liczby na zdjęciach są usuwane lub stają się nieczytelne. Ponadto, aby zbiór danych był nie tylko dostępny dla wszystkich, ale stał się wśród naukowców standardem, na podstawie którego wygodnie jest porównywać pomysły, konieczne jest nie tylko jego opublikowanie, ale także napisanie osobnego cytowanego artykułu na ten temat to i jego zalety.
Gorzej, gdy na badany temat nie ma otwartych zbiorów danych. Recenzent może wówczas przyjąć wyniki przedstawione przez autora jedynie na wiarę. Teoretycznie autor mógłby je nawet przecenić i pozostać niewykrytym, jednak w środowisku akademickim jest to mało prawdopodobne, gdyż kłóci się to z dążeniem zdecydowanej większości naukowców do rozwoju nauki.
W wielu obszarach uczenia maszynowego, w tym w zakresie wizji komputerowej, powszechne jest również dołączanie łączy do kodu (zwykle do GitHub) z artykułami. Same artykuły albo zawierają bardzo mało kodu, albo są pseudokodem. I tu znowu pojawiają się trudności, jeśli artykuł pisze naukowiec z firmy, a nie z uniwersytetu. Domyślnie kod napisany w korporacji lub startupie jest oznaczony jako NDA. Badacze i ich współpracownicy muszą ciężko pracować, aby oddzielić kod związany z opisywanym pomysłem od wewnętrznych i z pewnością zamkniętych repozytoriów.
Szansa na publikację zależy także od trafności wybranego tematu. Trafność jest w dużej mierze podyktowana produktami i usługami: jeśli korporacja lub startup jest zainteresowany zbudowaniem nowej usługi lub ulepszeniem istniejącej w oparciu o pomysł z artykułu, jest to plus.
Jak już wspomniano, prace z informatyki rzadko są pisane samodzielnie. Ale z reguły jeden z autorów poświęca znacznie więcej czasu i wysiłku niż inni. Jego wkład w nowinki naukowe jest największy. Na liście autorów taka osoba jest wskazana jako pierwsza - a w przyszłości, odnosząc się do artykułu, mogą o niej tylko wspomnieć (na przykład „Iwanow i in.” - „Iwanow i inni” przetłumaczone z łaciny). Jednak wkład innych osób jest również niezwykle cenny – w przeciwnym razie nie byłoby możliwe znalezienie się na liście autorów.
Proces przeglądu
Artykuły zwykle nie są przyjmowane na kilka miesięcy przed konferencją. Po przesłaniu artykułu recenzenci mają 3–5 tygodni na jego przeczytanie, ocenę i skomentowanie. Dzieje się tak w przypadku systemu single blind, gdy autorzy nie widzą nazwisk recenzentów, lub double blind, gdy sami recenzenci nie widzą nazwisk autorów. Druga opcja jest uważana za bardziej bezstronną: kilka prac naukowych wykazało, że popularność autora wpływa na decyzję recenzenta. Może na przykład uznać, że naukowiec posiadający dużą liczbę opublikowanych już artykułów jest a priori godny wyższej oceny.
Co więcej, nawet w przypadku double blind recenzent prawdopodobnie odgadnie autora, jeśli pracuje w tej samej dziedzinie. Ponadto w momencie recenzji artykuł może być już opublikowany w bazie arXiv, największym repozytorium prac naukowych. Organizatorzy konferencji nie zabraniają tego, zalecają jednak używanie w publikacjach dla arXiv innego tytułu i innego abstraktu. Ale jeśli artykuł został tam opublikowany, znalezienie go nadal nie będzie trudne.
Artykuł ocenia zawsze kilku recenzentów. Jednemu z nich przypisana jest rola metarecenzenta, który musi jedynie zapoznać się z werdyktem swoich kolegów i podjąć ostateczną decyzję. Jeśli recenzenci nie zgadzają się co do artykułu, metarecenzent może również przeczytać go pod kątem kompletności.
Czasem po zapoznaniu się z ocenami i komentarzami autor ma możliwość nawiązania dyskusji z recenzentem; istnieje nawet szansa, aby przekonać go do zmiany decyzji (jednak nie na wszystkich konferencjach taki system sprawdza się, a tym bardziej nie da się poważnie wpłynąć na werdykt). W dyskusji nie można odwoływać się do innych prac naukowych, z wyjątkiem tych, na które powołano się już w artykule. Można jedynie „pomóc” recenzentowi lepiej zrozumieć treść artykułu.
Konferencje i czasopisma
Artykuły z zakresu informatyki częściej trafiają na konferencje niż do czasopism naukowych. Dzieje się tak dlatego, że publikacje w czasopismach mają wymagania, które są trudniejsze do spełnienia, a proces recenzji może trwać miesiące, a nawet lata. Informatyka to dziedzina, która rozwija się bardzo szybko, dlatego autorzy zazwyczaj nie chcą tak długo czekać na publikację. Artykuł, który został już przyjęty na konferencję, można jednak następnie uzupełnić (np. poprzez przedstawienie bardziej szczegółowych wyników) i opublikować w czasopiśmie, w którym ograniczenia przestrzenne nie są tak rygorystyczne.
Wydarzenia na konferencji
Formę obecności autorów zatwierdzonych artykułów na konferencji ustalają recenzenci. Jeśli artykuł otrzyma zielone światło, najczęściej przydzielane jest Ci stanowisko plakatowe. Plakat to statyczny slajd zawierający streszczenie artykułu i ilustracje. Niektóre sale konferencyjne są wypełnione długimi rzędami stojaków na plakaty. Autor spędza znaczną część czasu w pobliżu swojego plakatu, komunikując się z naukowcami zainteresowanymi artykułem.
Nieco bardziej prestiżową opcją uczestnictwa jest błyskawiczna rozmowa. Jeżeli recenzenci uznają artykuł za godny szybkiego reportażu, autor ma około trzech minut na wystąpienie do szerokiego grona odbiorców. Z jednej strony błyskawiczna rozmowa to dobra okazja, aby opowiedzieć o swoim pomyśle nie tylko tym, którzy z własnej inicjatywy zainteresowali się plakatem. Z drugiej strony proaktywni odwiedzający plakaty są lepiej przygotowani i bardziej zanurzeni w konkretnym temacie niż przeciętny słuchacz na sali. Dlatego w krótkim raporcie musisz jeszcze mieć czas na zapoznanie ludzi z aktualnymi informacjami.
Zwykle pod koniec swojej błyskawicznej przemowy autorzy podają numer plakatu, aby słuchacze mogli go znaleźć i lepiej zrozumieć artykuł.
Ostatnią, najbardziej prestiżową opcją jest plakat plus pełnoprawna prezentacja pomysłu, kiedy nie ma już potrzeby spieszyć się z opowiadaniem historii.
Ale oczywiście naukowcy – w tym autorzy zatwierdzonych artykułów – przyjeżdżają na kolejną konferencję nie tylko po to, żeby się popisywać. Po pierwsze, z oczywistych powodów mają tendencję do znajdowania plakatów związanych z ich dziedziną. Po drugie, ważne jest dla nich poszerzanie listy kontaktów na potrzeby przyszłej wspólnej pracy akademickiej. To nie jest polowanie – a przynajmniej jego pierwszy etap, po którym przynajmniej następuje wzajemnie korzystna wymiana pomysłów, rozwój i wspólna praca nad jednym lub kilkoma artykułami.
Jednocześnie produktywne networking na najwyższej konferencji jest trudne ze względu na całkowity brak wolnego czasu. Jeśli po całym dniu spędzonym na prezentacjach i dyskusjach przy plakatach naukowiec nabrał sił i pokonał już zmęczenie spowodowane zmianą strefy czasowej, wówczas udaje się na jedną z wielu imprez. Organizowane są przez korporacje – w efekcie imprezy często mają charakter bardziej myśliwski. Jednocześnie wielu gości wcale nie korzysta z nich w celu znalezienia nowej pracy, ale ponownie w celu nawiązania kontaktów. Wieczorem nie ma już raportów i plakatów – łatwiej „złapać” interesującego Cię specjalistę.
Od pomysłu do produkcji
Informatyka to jedna z nielicznych branż, w których interesy korporacji i startupów są silnie powiązane ze środowiskiem akademickim. NIPS, ICML i inne podobne konferencje przyciągają wiele osób z branży, nie tylko uczelni. Jest to typowe dla dziedziny informatyki i odwrotnie dla większości innych nauk.
Z drugiej strony nie wszystkie pomysły prezentowane w artykułach od razu idą w stronę tworzenia lub udoskonalania usług. Nawet w ramach jednej firmy badacz może zaproponować kolegom z serwisu pomysł przełomowy jak na standardy naukowe i otrzymać odmowę jego realizacji z różnych powodów. O jednym z nich już tu wspomniano – jest to różnica pomiędzy „akademickim” zbiorem danych, na podstawie którego napisano artykuł, a rzeczywistym zbiorem danych. Ponadto wdrożenie pomysłu może się opóźnić, wymagać dużej ilości zasobów lub poprawić tylko jeden wskaźnik kosztem pogorszenia innych wskaźników.
Sytuację ratuje fakt, że wielu programistów sami jest trochę badaczami. Uczestniczą w konferencjach, rozmawiają tym samym językiem z naukowcami, proponują pomysły, czasami uczestniczą w tworzeniu artykułów (na przykład pisząc kod), a nawet sami występują w roli autorów. Jeśli programista jest zanurzony w procesie akademickim, śledzi to, co dzieje się w dziale badawczym, jednym słowem – jeśli wykazuje przeciwny ruch wobec naukowców, to cykl przekształcania idei naukowych w nowe możliwości usługowe ulega skróceniu.
Wszystkim młodym naukowcom życzymy powodzenia i wielkich osiągnięć w pracy. Jeśli ten post nie powiedział Ci nic nowego, być może publikowałeś już na ważnej konferencji. Zarejestruj się siebie i mianowania opiekunów naukowych.
Źródło: www.habr.com