Hari ini kami meluncurkan penghargaan ilmiah yang diberi nama Ilya Segalovich . Penghargaan ini akan diberikan atas prestasi di bidang ilmu komputer. Mahasiswa sarjana dan pascasarjana atau mencalonkan pembimbing ilmiah. Para pemenang akan dipilih oleh perwakilan komunitas akademik dan Yandex. Kriteria seleksi utama: publikasi dan presentasi di konferensi, serta kontribusi terhadap pengembangan masyarakat.
Upacara penghargaan pertama akan berlangsung pada bulan April. Sebagai bagian dari penghargaan tersebut, ilmuwan muda akan menerima 350 ribu rubel, dan sebagai tambahan, mereka akan dapat menghadiri konferensi internasional, bekerja dengan seorang mentor, dan menjalani magang di departemen penelitian Yandex. Pengawas ilmiah akan menerima 700 ribu rubel.
Pada kesempatan peluncuran penghargaan tersebut, kami memutuskan untuk berbicara di HabrΓ© tentang kriteria sukses dalam dunia ilmu komputer. Beberapa pembaca Habr sudah familiar dengan kriteria ini, sementara yang lain mungkin mempunyai kesan yang salah tentang kriteria tersebut. Hari ini kami akan menjembatani kesenjangan ini - kami akan membahas semua topik utama, termasuk artikel, konferensi, kumpulan data, dan transfer ide ilmiah ke dalam layanan.
Bagi para ilmuwan di bidang ilmu komputer, kriteria utama keberhasilan adalah publikasi karya ilmiah mereka di salah satu konferensi internasional terkemuka. Ini adalah βpos pemeriksaanβ pertama untuk mengakui karya peneliti. Misalnya saja dalam bidang pembelajaran mesin secara umum, dibedakan antara International Conference on Machine Learning (ICML) dan Conference on Neural Information Processing Systems (NeurIPS, dahulunya NIPS). Ada banyak konferensi mengenai bidang tertentu ML, seperti visi komputer, pengambilan informasi, teknologi ucapan, terjemahan mesin, dll.
Mengapa mempublikasikan ide Anda
Orang yang jauh dari ilmu komputer mungkin memiliki kesalahpahaman bahwa lebih baik merahasiakan ide yang paling berharga dan berusaha memanfaatkan keunikannya. Namun kenyataannya di lapangan kita justru berbanding terbalik. Kewibawaan seorang ilmuwan dinilai dari signifikansi karyanya, dari seberapa sering artikelnya dikutip oleh ilmuwan lain (indeks kutipan). Ini adalah karakteristik penting dalam kariernya. Seorang peneliti naik jenjang profesional, menjadi lebih dihormati di komunitasnya, hanya jika ia secara konsisten menghasilkan karya kuat yang dipublikasikan, menjadi terkenal, dan menjadi dasar bagi karya ilmuwan lain.
Banyak artikel teratas (mungkin sebagian besar) merupakan hasil kolaborasi para peneliti di berbagai universitas dan perusahaan di seluruh dunia. Momen penting dan sangat berharga dalam karir seorang peneliti adalah ketika ia mendapat kesempatan untuk mencari dan menyaring ide sendiri berdasarkan pengalamannya - namun bahkan setelah itu, rekan-rekannya terus memberinya bantuan yang sangat berharga. Para ilmuwan saling membantu mengembangkan ide, menulis artikel bersama - dan semakin besar kontribusi ilmuwan terhadap sains, semakin mudah baginya untuk menemukan orang yang berpikiran sama.
Terakhir, kepadatan dan ketersediaan informasi kini begitu besar sehingga berbagai peneliti secara bersamaan menghasilkan ide-ide ilmiah yang sangat mirip (dan sangat berharga). Jika Anda tidak mempublikasikan ide Anda, hampir pasti orang lain akan mempublikasikannya untuk Anda. βPemenangβ sering kali bukanlah orang yang memunculkan inovasi lebih awal, tetapi orang yang menerbitkannya lebih awal. Atau - orang yang berhasil mengungkapkan idenya selengkap, sejelas dan semeyakinkan mungkin.
Artikel dan kumpulan data
Jadi, sebuah artikel ilmiah dibangun berdasarkan gagasan pokok yang dikemukakan peneliti. Ide ini merupakan kontribusinya terhadap ilmu komputer. Artikel diawali dengan uraian ide yang dirumuskan dalam beberapa kalimat. Ini diikuti dengan pendahuluan yang menjelaskan berbagai masalah yang diselesaikan dengan bantuan inovasi yang diusulkan. Uraian dan pendahuluan biasanya ditulis dalam bahasa sederhana yang dapat dimengerti khalayak luas. Setelah pendahuluan, perlu diformalkan masalah yang disajikan dalam bahasa matematika dan memperkenalkan notasi yang ketat. Kemudian, dengan menggunakan notasi yang diperkenalkan, Anda perlu membuat pernyataan yang jelas dan komprehensif tentang esensi inovasi yang diusulkan, dan mengidentifikasi perbedaan dari metode sebelumnya yang serupa. Semua pernyataan teoretis harus didukung oleh referensi bukti yang dikumpulkan sebelumnya, atau dibuktikan secara independen. Hal ini dapat dilakukan dengan beberapa asumsi. Misalnya, Anda dapat memberikan bukti untuk kasus ketika jumlah data pelatihan tidak terbatas (situasi yang jelas tidak dapat dicapai) atau data tersebut benar-benar independen satu sama lain. Menjelang akhir artikel, ilmuwan tersebut berbicara tentang hasil eksperimen yang berhasil diperolehnya.
Agar reviewer yang direkrut oleh penyelenggara konferensi lebih mungkin untuk menyetujui sebuah makalah, makalah tersebut harus memiliki satu atau lebih atribut. Faktor kunci yang meningkatkan peluang persetujuan adalah kebaruan ilmiah dari gagasan yang diajukan. Seringkali, kebaruan dinilai dalam kaitannya dengan ide-ide yang sudah ada - dan pekerjaan penilaiannya tidak dilakukan oleh pengulas, tetapi oleh penulis artikel itu sendiri. Idealnya, penulis harus menceritakan secara rinci dalam artikel tentang metode yang ada dan, jika mungkin, menyajikannya sebagai kasus khusus dari metodenya. Dengan demikian, ilmuwan menunjukkan bahwa pendekatan yang diterima tidak selalu berhasil, bahwa ia menggeneralisasikannya dan mengusulkan rumusan teoretis yang lebih luas, lebih fleksibel, dan karenanya lebih efektif. Jika kebaruannya tidak dapat disangkal, maka pengulas tidak akan menilai artikel tersebut dengan terlalu pilih-pilih - misalnya, mereka mungkin akan menutup mata terhadap bahasa Inggris yang buruk.
Untuk memperkuat kebaruan, ada gunanya memasukkan perbandingan dengan metode yang ada pada satu atau lebih kumpulan data. Masing-masing harus terbuka dan diterima di lingkungan akademik. Misalnya, terdapat penyimpanan gambar ImageNet dan database dari lembaga-lembaga seperti Modified National Institute of Standards and Technology (MNIST) dan CIFAR (Canadian Institute For Advanced Research). Kesulitannya adalah bahwa kumpulan data βakademisβ semacam itu seringkali berbeda struktur kontennya dengan data sebenarnya yang ditangani oleh industri. Data yang berbeda berarti hasil yang berbeda dari metode yang diusulkan. Para ilmuwan yang sebagian bekerja untuk industri ini mencoba mempertimbangkan hal ini dan terkadang memasukkan penafian seperti βpada data kami hasilnya begini dan begitu, tetapi pada kumpulan data publik β ini dan itu.β
Kebetulan metode yang diusulkan sepenuhnya βdisesuaikanβ dengan database terbuka dan tidak berfungsi pada data nyata. Anda dapat mengatasi masalah umum ini dengan membuka kumpulan data baru yang lebih representatif, namun sering kali kita berbicara tentang konten pribadi yang tidak berhak dibuka oleh perusahaan. Dalam beberapa kasus, mereka melakukan anonimisasi data (terkadang rumit dan melelahkan) - mereka menghapus semua fragmen yang mengarah ke orang tertentu. Misalnya, wajah dan nomor dalam foto terhapus atau tidak terbaca. Selain itu, agar kumpulan data tidak hanya tersedia untuk semua orang, tetapi juga menjadi standar di kalangan ilmuwan yang memudahkan untuk membandingkan ide, perlu tidak hanya mempublikasikannya, tetapi juga menulis artikel terpisah yang dikutip tentang itu dan kelebihannya.
Lebih buruk lagi bila tidak ada kumpulan data terbuka dalam topik yang sedang dipelajari. Maka reviewer hanya bisa menerima hasil yang disajikan penulis atas dasar keyakinan. Secara teoritis, penulis bahkan dapat melebih-lebihkan hal tersebut dan tetap tidak terdeteksi, namun dalam lingkungan akademis hal ini tidak mungkin terjadi, karena hal ini bertentangan dengan keinginan sebagian besar ilmuwan untuk mengembangkan ilmu pengetahuan.
Di sejumlah area ML, termasuk computer vision, biasanya juga melampirkan link ke kode (biasanya ke GitHub) dengan artikel. Artikel-artikel itu sendiri hanya berisi sedikit kode atau berupa kodesemu. Dan di sini lagi-lagi kesulitan muncul jika artikel tersebut ditulis oleh peneliti dari suatu perusahaan, dan bukan dari universitas. Secara default, kode yang ditulis di perusahaan atau startup diberi label NDA. Peneliti dan koleganya harus bekerja keras untuk memisahkan kode terkait ide yang sedang dideskripsikan dari repositori internal dan tentunya tertutup.
Peluang publikasi juga bergantung pada relevansi topik yang dipilih. Relevansi sebagian besar ditentukan oleh produk dan layanan: jika sebuah perusahaan atau startup tertarik untuk membangun layanan baru atau meningkatkan layanan yang sudah ada berdasarkan ide dari sebuah artikel, itu merupakan nilai tambah.
Seperti yang telah disebutkan, makalah ilmu komputer jarang ditulis sendiri. Namun biasanya, salah satu penulis menghabiskan lebih banyak waktu dan tenaga dibandingkan yang lain. Kontribusinya terhadap kebaruan ilmiah adalah yang terbesar. Dalam daftar penulis, orang tersebut ditunjukkan terlebih dahulu - dan di masa depan, ketika merujuk pada sebuah artikel, mereka hanya dapat menyebutkan dia (misalnya, "Ivanov dkk" - "Ivanov dan lainnya" diterjemahkan dari bahasa Latin). Namun, kontribusi orang lain juga sangat berharga - jika tidak, maka mustahil untuk masuk dalam daftar penulis.
Proses peninjauan
Makalah biasanya berhenti diterima beberapa bulan sebelum konferensi. Setelah artikel dikirimkan, pengulas memiliki waktu 3β5 minggu untuk membaca, mengevaluasi, dan mengomentari artikel tersebut. Hal ini terjadi menurut sistem single blind, ketika penulis tidak melihat nama reviewer, atau double blind, ketika reviewer sendiri tidak melihat nama penulis. Opsi kedua dianggap lebih tidak memihak: beberapa makalah ilmiah menunjukkan bahwa popularitas penulis mempengaruhi keputusan pengulas. Misalnya, dia mungkin menganggap bahwa seorang ilmuwan yang memiliki banyak artikel yang sudah diterbitkan secara apriori layak mendapat peringkat yang lebih tinggi.
Terlebih lagi, bahkan dalam kasus double blind, reviewer mungkin akan menebak penulisnya jika mereka bekerja di bidang yang sama. Selain itu, pada saat peninjauan, artikel tersebut mungkin sudah dipublikasikan di database arXiv, gudang makalah ilmiah terbesar. Penyelenggara konferensi tidak melarang hal ini, tetapi mereka merekomendasikan penggunaan judul dan abstrak berbeda dalam publikasi arXiv. Namun jika artikel tersebut diposting di sana, tetap tidak sulit untuk menemukannya.
Selalu ada beberapa pengulas yang mengevaluasi sebuah artikel. Salah satunya diberi peran meta-reviewer, yang hanya harus meninjau putusan rekan-rekannya dan mengambil keputusan akhir. Jika pengulas tidak setuju dengan artikel tersebut, meta-reviewer juga dapat membacanya untuk kelengkapan.
Terkadang, setelah meninjau rating dan komentar, penulis memiliki kesempatan untuk berdiskusi dengan reviewer; bahkan ada peluang untuk meyakinkan dia untuk mengubah keputusannya (namun, sistem seperti itu tidak berlaku untuk semua konferensi, dan bahkan lebih kecil kemungkinannya untuk mempengaruhi keputusan secara serius). Dalam pembahasan tidak boleh merujuk pada karya ilmiah lain, kecuali yang sudah diacu dalam artikel. Anda hanya dapat βmembantuβ pengulas lebih memahami isi artikel.
Konferensi dan jurnal
Artikel ilmu komputer lebih sering dikirimkan ke konferensi daripada jurnal ilmiah. Pasalnya, publikasi jurnal memiliki persyaratan yang lebih sulit dipenuhi, dan proses peer review bisa memakan waktu berbulan-bulan bahkan bertahun-tahun. Ilmu komputer adalah bidang yang perkembangannya sangat cepat, sehingga penulis biasanya tidak mau menunggu selama itu untuk dipublikasikan. Namun, artikel yang telah diterima untuk konferensi tersebut kemudian dapat dilengkapi (misalnya dengan menyajikan hasil yang lebih rinci) dan diterbitkan dalam jurnal yang batasan ruangnya tidak terlalu ketat.
Acara di konferensi
Format kehadiran penulis artikel yang disetujui pada konferensi ditentukan oleh reviewer. Jika artikel tersebut diberi lampu hijau, maka Anda paling sering diberikan stand poster. Poster adalah slide statis dengan ringkasan artikel dan ilustrasi. Beberapa ruang konferensi dipenuhi barisan poster yang panjang. Penulis menghabiskan sebagian besar waktunya di dekat posternya, berkomunikasi dengan para ilmuwan yang tertarik dengan artikel tersebut.
Pilihan partisipasi yang sedikit lebih bergengsi adalah pembicaraan kilat. Jika pengulas menganggap artikel tersebut layak untuk diberi laporan singkat, penulis diberi waktu sekitar tiga menit untuk berbicara kepada khalayak luas. Di satu sisi, pembicaraan kilat adalah kesempatan bagus untuk menceritakan ide Anda tidak hanya kepada mereka yang tertarik dengan poster atas inisiatif mereka sendiri. Di sisi lain, pengunjung poster yang proaktif lebih siap dan lebih mendalami topik spesifik Anda dibandingkan rata-rata pendengar di aula. Oleh karena itu, dalam laporan singkat, Anda masih perlu memiliki waktu untuk memberikan informasi terkini kepada orang-orang.
Biasanya di akhir pembicaraan kilatnya, penulis menyebutkan nomor poster agar pendengar dapat menemukannya dan lebih memahami artikel tersebut.
Pilihan terakhir yang paling bergengsi adalah poster plus presentasi ide yang lengkap, sehingga tidak perlu lagi terburu-buru menceritakan kisahnya.
Namun tentu saja, para ilmuwan β termasuk penulis artikel yang disetujui β datang ke konferensi berikutnya tidak hanya untuk pamer. Pertama, mereka cenderung mencari poster yang berhubungan dengan bidangnya karena alasan yang jelas. Dan kedua, penting bagi mereka untuk memperluas daftar kontak mereka untuk tujuan kerja akademis bersama di masa depan. Ini bukan perburuan - atau, setidaknya, tahap pertama, yang setidaknya diikuti dengan pertukaran ide, perkembangan, dan kerja sama yang saling menguntungkan pada satu artikel atau lebih.
Pada saat yang sama, jaringan produktif di konferensi tingkat tinggi sulit dilakukan karena kurangnya waktu luang. Jika, setelah seharian penuh melakukan presentasi dan diskusi di poster, ilmuwan tersebut masih mempertahankan kekuatannya dan telah mengatasi jet lag, maka ia akan pergi ke salah satu dari banyak pesta. Mereka diselenggarakan oleh perusahaan - akibatnya, partai-partai tersebut seringkali lebih bersifat berburu. Pada saat yang sama, banyak tamu menggunakannya bukan untuk mencari pekerjaan baru, tetapi, sekali lagi, untuk membangun jaringan. Di malam hari tidak ada lagi laporan dan poster - lebih mudah untuk βmenangkapβ spesialis yang Anda minati.
Dari ide hingga produksi
Ilmu komputer adalah salah satu dari sedikit industri di mana kepentingan korporasi dan startup sangat terkait dengan lingkungan akademis. NIPS, ICML dan konferensi serupa lainnya menarik banyak pihak dari industri, tidak hanya universitas. Hal ini biasa terjadi pada bidang ilmu komputer, namun sebaliknya pada sebagian besar ilmu lainnya.
Di sisi lain, tidak semua ide yang disajikan dalam artikel langsung ditujukan untuk menciptakan atau meningkatkan layanan. Bahkan dalam satu perusahaan, seorang peneliti dapat mengusulkan kepada rekan-rekannya dari layanan tersebut sebuah ide yang merupakan terobosan menurut standar ilmiah dan menerima penolakan untuk mengimplementasikannya karena beberapa alasan. Salah satunya telah disebutkan di sini - ini adalah perbedaan antara kumpulan data βakademikβ tempat artikel itu ditulis dan kumpulan data sebenarnya. Selain itu, implementasi suatu gagasan mungkin tertunda, memerlukan sumber daya dalam jumlah besar, atau hanya meningkatkan satu indikator sehingga mengakibatkan memburuknya metrik lainnya.
Situasi ini terselamatkan oleh fakta bahwa banyak pengembang sendiri yang merupakan peneliti kecil. Mereka menghadiri konferensi, berbicara dalam bahasa yang sama dengan akademisi, mengajukan ide, terkadang berpartisipasi dalam pembuatan artikel (misalnya menulis kode), atau bahkan bertindak sebagai penulis sendiri. Jika seorang pengembang tenggelam dalam proses akademik, mengikuti apa yang terjadi di departemen penelitian, dengan kata lain - jika dia menunjukkan gerakan balasan terhadap ilmuwan, maka siklus mengubah ide-ide ilmiah menjadi kemampuan layanan baru akan dipersingkat.
Kami mendoakan semoga sukses dan prestasi besar bagi semua peneliti muda dalam pekerjaannya. Jika postingan ini tidak memberi tahu Anda sesuatu yang baru, Anda mungkin sudah mempublikasikannya di konferensi terkemuka. Mendaftar untuk diri Anda sendiri dan mencalonkan pembimbing ilmiah.
Sumber: www.habr.com