19 sirah hydra. Ringkesan gedhe saka program

A konferensi bakal njupuk Panggonan ing Juli 11-12 ing St Hydra, darmabakti kanggo pangembangan sistem paralel lan disebarake. Trik saka Hydra yaiku nggabungake ilmuwan sing keren (sing biasane ditemokake mung ing konferensi ilmiah manca) lan insinyur praktik sing misuwur dadi siji program gedhe ing persimpangan ilmu lan praktik.

Hydra minangka salah sawijining konferensi paling penting ing sawetara taun kepungkur. Iki didhisiki persiapan sing serius, pemilihan pamicara lan laporan. Minggu kepungkur babagan iki wawancara habro metu karo direktur JUG.ru Group, Alexey Fedorov (23 wiwit).

Kita wis marang bab telung peserta penting, pangadeg teori sistem mbagekke - Leslie Lamport, Maurice Herlihy lan Michael Scott. Wektu kanggo ngomong kanthi luwih rinci babagan kabeh program!

19 sirah hydra. Ringkesan gedhe saka program

Motivasi

Yen sampeyan melu pemrograman, mula sampeyan kudu ngatasi multithreading lan komputasi sing disebarake. Experts ing lapangan cocog karo wong-wong mau langsung, nanging implicitly, distribusi looking ing kita saka ngendi wae: ing sembarang komputer multi-inti utawa layanan mbagekke ana soko sing nindakake petungan ing podo karo.

Ana akeh konferensi sing nyakup macem-macem aspek pemrograman aplikasi. Ing sisih liya saka spektrum, kita duwe sekolah ilmiah khusus sing mbukak akeh teori kompleks ing format kuliah. Contone, ing podo karo Hydra ing St Petersburg ana sekolah SPTDC. Ing konferensi Hydra, kita nyoba nggabungake praktik, ilmu, lan kabeh sing ana ing persimpangan.

Coba pikirake iki: kita urip ing wektu sing luar biasa nalika sampeyan bisa ketemu langsung karo pendiri bidang ilmu pengetahuan lan teknik sing kita sinau. Fisikawan ora bakal ketemu karo Newton utawa Einstein - sepur wis lunga. Nanging ing jejere kita isih manggon wong-wong sing nggawe dhasar saka teori sistem mbagekke, nemokke basa program populer, lan kanggo pisanan diwujudake kabeh iki ing prototipe apa. Wong-wong iki ora mandheg kerja ing tengah-tengah, saiki lagi nggarap masalah sing penting ing universitas lan perusahaan sing misuwur ing donya, lan dadi sumber kawruh lan pengalaman paling gedhe saiki.

Ing tangan liyane, kesempatan kanggo ketemu wong biasane tetep sejatine sifate teoritis: sawetara kita bisa terus-terusan ngawasi acara umum ing sawetara Universitas Rochester, lan banjur cepet-cepet menyang Amerika Serikat lan bali kanggo kuliah karo Michael Scott. Dolan maring kabeh anggota Hydra bakal biaya rejeki cilik, ora ngetung jurang wektu boroske (sanajan muni kaya nggoleki menarik).

Ing tangan liyane, kita duwe akeh engineers ndhuwur sing nggarap masalah mencet ing sistem mbagekke saiki, lan padha temtunipun duwe akeh kanggo ngomong. Nanging iki masalah - padha работают, lan wektune larang regane. Ya, yen sampeyan minangka karyawan Microsoft, Google utawa JetBrains, kemungkinan ketemu salah sawijining pamicara sing misuwur ing acara internal mundhak banget, nanging umume, ora, iki ora kedadeyan saben dina.

Kanthi cara iki, Konferensi Hydra ngrampungake tugas penting sing umume ora bisa ditindakake dhewe - ing sak panggonan lan ing siji wektu, ngumpulake wong sing ide utawa interaksi karo sing bisa ngganti urip sampeyan. Aku ngakoni manawa ora saben wong mbutuhake sistem sing disebarake utawa sawetara perkara dhasar sing rumit. Sampeyan bisa program CRUDs ing PHP kanggo sisa urip lan tetep rampung seneng. Nanging sapa wae sing butuh, iki kesempatan sampeyan.

Cukup suwe wiwit woro-woro pisanan konferensi Hydra ing Habré. Sajrone wektu iki, akeh karya sing wis rampung - lan saiki kita duwe dhaptar meh kabeh laporan. Ora ana algoritma single-threaded sing alon, mung hardcore sing disebarake murni! Ayo rampung karo tembung umum lan ndeleng apa sing ana ing tangan kita saiki.

Keynotes

Keynotes miwiti lan mungkasi dina konferensi. Biasane titik kunci pambuka yaiku nyetel semangat umum lan arah konferensi. Intine nutup nggawe garis lan nerangake carane kita bisa urip kanthi kawruh lan katrampilan sing dipikolehi sajrone konferensi kasebut. Awal lan pungkasan: apa sing paling dieling-eling, lan umume, wis tambah pinunjul.

Cliff Klik Algoritma K/V sing disebarake H2O

19 sirah hydra. Ringkesan gedhe saka program Cliff minangka legenda ing jagad Jawa. Ing pungkasan taun 90-an, kanggo tesis PhD, dheweke nulis makalah kanthi irah-irahan "Nggabungake Analisis, Nggabungake Optimasi", sing sawetara wektu mengko dadi basis kanggo HotSpot JVM Server Compiler. Rong taun sabanjure, dheweke wis kerja ing Sun Microsystems ing JVM lan nuduhake ing saindenging jagad yen JIT duwe hak kanggo ana. Iki crita kabeh babagan carane Jawa minangka salah sawijining runtime modern paling cepet kanthi optimalisasi paling cerdas lan paling cepet teka saka Cliff Click. Ing wiwitan, dipercaya manawa ana sing bisa diakses dening kompiler statis, sampeyan ora kudu nyoba jit. Thanks kanggo karya Cliff lan tim, kabeh basa anyar wiwit digawe kanthi ide kompilasi JIT kanthi standar. Mesthi, iki dudu proyek siji-wong, nanging Cliff nduwe peran sing penting banget.

Ing intine pambuka, Cliff bakal ngomong babagan usaha liyane - H20, platform ing memori kanggo sinau mesin sing disebarake lan skalabel kanggo aplikasi industri. Utawa luwih tepat, babagan panyimpenan sing disebarake pasangan kunci-nilai ing njero. Iki minangka panyimpenan sing cepet banget kanthi akeh properti sing menarik (dhaptar sing tepat ana ing katrangan), sing ngidini nggunakake solusi sing padha ing matématika streaming data gedhe.

Laporan liyane sing bakal diwenehake Cliff yaiku - Pengalaman Memori Transaksional Azul Hardware. Bagéan liya saka biografi - sepuluh taun kerja ing Azul, ing ngendi dheweke nganyari lan nambah akeh perkara ing tumpukan hardware lan teknologi Azul: kompiler JIT, runtime, model thread, penanganan kesalahan, penanganan tumpukan, interrupts hardware, loading kelas, lan liya-liyane - uga, sampeyan entuk gagasan.

Sisih paling menarik diwiwiti nalika nggawe hardware kanggo bisnis gedhe - supercomputer kanggo mbukak Java. Iku bab rodo inovatif, ngarang khusus kanggo Jawa, kang nduweni syarat khusus - maca alangan memori kanggo kurang-ngaso koleksi uwuh, susunan karo wates mriksa, telpon virtual ... Salah siji saka teknologi keren punika hardware memori transactional. L1 kabeh saka 864 intine bisa melu nulis transaksional, sing penting banget kanggo nggarap kunci ing Jawa (pamblokiran sing disinkronake bisa digunakake kanthi podo karo yen ora ana konflik memori sing nyata). Nanging idea ayu iki ulig dening kasunyatan atos - lan ing Dhiskusi iki Cliff bakal pitutur marang kowe kok HTM lan STM ora cocok banget kanggo kabutuhan praktis komputasi multi-threaded.

Michael Scott - Struktur data ganda

19 sirah hydra. Ringkesan gedhe saka program Michael Scott - Profesor Ilmu Komputer ing Universitas Rochester, sing disambungake nasibe wis 34 taun, lan ing omahe Universitas Wisconsin–Madison, dheweke dadi dekan limang taun. Dheweke nyelidiki lan mulang siswa babagan desain program lan basa sing paralel lan disebarake.

Kabeh donya ngerti Michael thanks kanggo buku teks "Pragmatik Bahasa Pemrograman", edisi paling anyar sing diterbitake relatif anyar - ing 2015. Pakaryane "Algoritma kanggo sinkronisasi sing bisa diukur ing multiprosesor memori bareng" ditampa Hadiah Dijkstra minangka salah siji sing paling misuwur ing bidang komputasi mbagekke lan ngapusi kanthi terang-terangan ing Perpustakaan Online Universitas Rochester. Sampeyan uga bisa ngerti dheweke minangka penulis algoritma Michael-Scott banget saka "Sederhana, Cepet, lan Praktis Non-Blocking lan Pamblokiran Algoritma Antrian Serempak".

Kanggo jagad Jawa, iki minangka kasus khusus: bebarengan karo Doug Lea, dheweke ngembangake algoritma non-blocking lan antrian sinkron sing digunakake kanggo perpustakaan Jawa. Iki persis apa sing bakal dadi intine "Dual data structures" - introduksi struktur kasebut ing Java SE 6 wis nambah kinerja nganti 10 kali. java.util.concurrent.ThreadPoolExecutor. Yen sampeyan mikir sadurunge apa iki "struktur data Ganda", banjur ana informasi babagan iki karya sing gegandhengan.

Maurice Herlihy - Blockchains lan masa depan komputasi sing disebarake

19 sirah hydra. Ringkesan gedhe saka program Maurice Herlihy - pemenang saka rong Hadiah Dijkstra. Sing pertama kanggo kerja "Sinkronisasi Tanpa Enteni" (Brown University), lan nomer loro, luwih anyar - "Memori Transaksional: Dhukungan Arsitektur kanggo Struktur Data Tanpa Kunci" (Universitas Teknologi Virginia). Bebungah Dijkstra ngakoni karya sing pinunjul lan pengaruhe wis katon paling ora sepuluh taun, lan Maurice jelas minangka salah sawijining ahli sing paling misuwur ing lapangan. Dheweke saiki kerja minangka profesor ing Universitas Brown lan duwe dhaptar prestasi sing dawa.

Ing keynote penutupan iki, Maurice bakal ngomong babagan teori lan praktik sistem distribusi blockchain saka sudut pandang klasik babagan komputasi sing disebarake lan carane nyederhanakake akeh masalah sing gegandhengan. Iki minangka laporan khusus babagan topik konferensi - ora kabeh babagan hype pertambangan, nanging babagan carane kawruh kita bisa digunakake kanthi efektif lan tepat ing hubungane karo macem-macem tugas.

Ing Juli 2017, Maurice wis teka ing Rusia kanggo sekolah SPTDC, melu ing JUG.ru meetup, lan rekaman bisa dideleng ing YouTube:

Program utama

Sabanjure bakal ana ringkesan ringkes babagan laporan sing kalebu ing program kasebut. Sawetara laporan diterangake ing kene kanthi rinci, liyane kanthi ringkes. Dhèskripsi dawa utamane kanggo laporan basa Inggris sing mbutuhake pranala menyang makalah ilmiah, istilah ing Wikipedia, lan liya-liyane. Dhaptar lengkap kasedhiya ndeleng ing situs web konferensi. Dhaptar ing situs web bakal dianyari lan ditambah.

Leslie Lampor - Q & A

19 sirah hydra. Ringkesan gedhe saka program Leslie Lamport minangka penulis karya seminal ing komputasi terdistribusi. "LaTeX" singkatan saka "Lamport TeX". Dheweke sing pisanan, ing taun 1979, ngenalake konsep kasebut konsistensi konsisten, lan artikelipun "Carane Nggawe Komputer Multiprocessor sing Bener Nglakokake Program Multiprocess" pikantuk Bebungah Dijkstra.

Iki minangka bagéan sing paling ora biasa saka program ing babagan format, amarga dudu laporan, nanging sesi pitakonan lan jawaban. Nalika bagean pinunjul saka pirsawan wis menowo (utawa bisa dadi menowo) karo kabeh jinis karya adhedhasar "teori Lamport", artikel lan laporan dhewe, iku luwih penting kanggo nglampahi kabeh wektu kasedhiya kanggo komunikasi langsung.

Ide iki prasaja - sampeyan nonton rong laporan ing YouTube: "Pemrograman Kudu Luwih saka Coding" и "Yen Sampeyan Ora Nulis Program, Aja Gunakake Basa Pemrograman" lan nyiapake paling siji pitakonan, lan Leslie njawab.

Pisanan saka rong video iki wis kita lakoni diowahi dadi artikel habro. Yen sampeyan ora duwe wektu siji jam kanggo nonton video, sampeyan bisa maca kabeh kanthi cepet ing wangun teks.

Cathetan: Ana akeh video Leslie Lamport liyane ing YouTube. Contone, ana sing apik banget Kursus TLA+. Versi offline kabeh kursus iki kasedhiya ing kaca ngarep penulis, lan dheweke ngunggah menyang YouTube supaya luwih gampang dideleng ing piranti seluler.

Martin Kleppmann - Nyelarasake data antarane piranti pangguna kanggo kolaborasi sing disebarake

19 sirah hydra. Ringkesan gedhe saka program Martin Kleppmann minangka peneliti ing Universitas Cambridge nggarap CRDT lan verifikasi algoritma resmi. buku Martin "Ngrancang Aplikasi Data-Intensif", diterbitake ing 2017, kabukten sukses banget lan dadi dhaptar paling laris ing bidang panyimpenan lan pangolahan data. Kevin Scott, CTO ing Microsoft, sapisan ngandika: “Buku iki kudune kudu diduweni kanggo para insinyur piranti lunak. Iki minangka sumber langka sing nggabungake teori lan praktik kanggo mbantu para pangembang luwih pinter ngrancang lan ngetrapake infrastruktur lan sistem data. Pencipta Kafka lan CTO Confluent, Jay Kreps, ujar sing padha.

Sadurunge pindhah menyang riset akademik, Martin kerja ing industri lan ngedegake loro start-up sing sukses:

  • Rapportive, darmabakti kanggo nampilake profil sosial kontak saka email sampeyan, sing dituku LinkedIn ing 2012;
  • Go Test It, layanan kanggo nguji situs web kanthi otomatis ing macem-macem browser, sing dituku dening RedGate ing taun 2009.

Umumé, Martin, sanajan kurang misuwur tinimbang keynotes kita, wis bisa menehi kontribusi kanggo pangembangan komputasi sing disebarake lan industri.

Ing pirembagan iki, Martin bakal ngomong babagan topik sing luwih cedhak karo riset akademik. Ing Google Docs lan sofa panyuntingan bareng dokumen sing padha, "editing kolaboratif" nuduhake tugas replikasi: saben pangguna duwe replika dokumen sing dienggo bareng, sing banjur diowahi, lan kabeh owah-owahan dikirim menyang jaringan liyane. peserta. Owah-owahan menyang dokumen offline ndadékaké kanggo inconsistency sak wentoro dokumen ing hubungan karo peserta liyane, lan re-sinkronisasi mbutuhake nangani konflik. Sing persis apa padha ana kanggo Jinis Data Replika Bebas Konflik (CRDT), nyatane, minangka barang sing cukup anyar, sing intine mung dirumusake ing taun 2011. Dhiskusi iki mbahas apa sing kedadeyan wiwit saiki ing jagad CRDT, apa kemajuan paling anyar, pendekatan kanggo nggawe aplikasi lokal-pisanan ing umum lan panggunaan perpustakaan sumber terbuka. Automerge ing tartamtu.

Minggu ngarep kita bakal nerbitake wawancara dawa karo Martin ing Habré, bakal menarik.

Pedro Ramalhete - Struktur data tanpa tunggu lan transaksi tanpa tunggu

19 sirah hydra. Ringkesan gedhe saka program Pedro kerja ing Cisco lan wis ngembangake algoritma paralel suwene sepuluh taun kepungkur, kalebu mekanisme sinkronisasi, struktur data tanpa kunci lan tanpa ngenteni lan kabeh sing bisa dibayangake babagan topik iki. Kapentingan riset lan teknik saiki fokus ing Konstruksi Universal, Memori Transaksional Piranti Lunak, Memori Persisten lan teknologi sing padha sing mbisakake aplikasi sing bener, bisa diukur lan tahan kesalahan. Dheweke uga penulis blog sing dikenal ing kalangan sempit Concurrency Freaks.

Umume aplikasi multithreaded saiki nganggo struktur data paralel, saka nggunakake antrian pesen antarane aktor nganti struktur data sing diindeks ing toko nilai kunci. Dheweke wis sukses ing JDK Jawa nganti pirang-pirang taun, lan alon-alon ditambahake menyang C ++.

Cara paling gampang kanggo ngleksanakake struktur data paralel yaiku implementasi sekuensial (ulir tunggal) ing ngendi metode kasebut dilindhungi dening mutex. Iki bisa diakses ing Juni apa wae, nanging duwe masalah sing jelas babagan skala lan kinerja. Ing wektu sing padha, struktur data tanpa kunci lan tanpa ngenteni ora mung bisa ngatasi kesalahan, nanging uga duwe profil kinerja sing luwih apik - nanging pangembangane mbutuhake keahlian lan adaptasi sing jero kanggo aplikasi tartamtu. Siji baris kode sing salah cukup kanggo ngilangi kabeh.

Kepiye carane bisa nggawe supaya malah non-ahli bisa ngrancang lan ngetrapake struktur data kasebut? Dikawruhi manawa algoritma urutan apa wae bisa digawe aman nganggo benang desain universal, utawa memori transaksional. Siji-sijine, dheweke bisa nyuda alangan kanggo ngrampungake masalah iki. Nanging, loro solusi kasebut biasane nyebabake implementasine ora efektif. Pedro bakal ngomong babagan carane nggawe desain kasebut luwih efisien lan carane sampeyan bisa nggunakake algoritma kasebut.

Heidi Howard - Mbebasake konsensus disebarake

19 sirah hydra. Ringkesan gedhe saka program Heidi Howard, kaya Martin, peneliti sistem distribusi ing Universitas Cambridge. Spesialisasi dheweke yaiku konsistensi, toleransi kesalahan, kinerja lan konsensus sing disebarake. Dheweke misuwur amarga generalisasi algoritma Paxos sing diarani Paxos fleksibel.

Kelingan iku Paxos minangka kulawarga protokol kanggo ngrampungake masalah konsensus ing jaringan komputer sing ora bisa dipercaya, adhedhasar karya Leslie Lamport. Mangkono, sawetara pamicara kita nggarap masalah sing wiwitane diusulake dening pamicara liyane - lan iki apik banget.

Kemampuan kanggo nemokake konsensus ing antarane sawetara host-kanggo ngatasi, pemilihan pimpinan, pamblokiran, utawa koordinasi-minangka masalah dhasar ing sistem distribusi modern. Paxos saiki dadi cara utama kanggo ngatasi masalah konsensus, lan ana akeh riset sing ditindakake kanggo nggedhekake lan ngoptimalake algoritma kanggo macem-macem kabutuhan praktis.

Ing pirembagan iki, kita bakal nliti maneh basis teori Paxos, santai syarat asli lan generalisasi algoritma. Kita bakal weruh sing Paxos ateges mung siji pilihan antarane sawetara ageng saka pendekatan konsensus, lan titik liyane ing spektrum uga banget migunani kanggo mbangun sistem mbagekke apik.

Alex Petrov - Ngurangi biaya panyimpenan kanthi Replikasi Transient lan Kuorum Murah

19 sirah hydra. Ringkesan gedhe saka program Alex minangka spesialis sistem database lan panyimpenan, lan sing luwih penting kanggo kita, komitter ing Cassandra. Dheweke saiki nggarap buku, Database Internals, karo O'Reilly.

Kanggo sistem karo konsistensi pungkasanipun (ing terminologi Rusia - "konsistensi pungkasan"), sawise kacilakan simpul utawa pamisah jaringan, sampeyan kudu ngrampungake dilema ing ngisor iki: terus nglakokake panjaluk, ngorbanake konsistensi, utawa ora gelem nglakokake lan ngorbanake kasedhiyan. Ing sistem kuwi, quorums, tumpang tindih subset saka simpul lan mesthekake yen paling siji simpul ngemot nilai paling anyar, bisa dadi solusi pinggiran apik. Sampeyan bisa slamet saka kegagalan lan kelangan panyambungan menyang sawetara simpul nalika isih nanggapi karo nilai paling anyar.

Nanging, kabeh duwe rega. Skema replikasi kuorum tegese biaya panyimpenan tambah: data sing keluwih kudu disimpen ing pirang-pirang simpul bebarengan kanggo mesthekake yen ana salinan sing cukup kasedhiya nalika ana masalah. Pranyata sampeyan ora kudu nyimpen kabeh data ing kabeh replika. Sampeyan bisa nyuda beban ing panyimpenan yen sampeyan nyimpen data mung ing bagean saka kelenjar, lan nggunakake simpul khusus (Transient Replica) kanggo skenario nangani Gagal.

Sajrone laporan, kita bakal nimbang Replika Saksi, skema replikasi sing digunakake ing Spanner и toko mega, lan implementasine konsep iki ing Apache Cassandra disebut Replikasi Transient & Kuorum Murah.

Dmitry Vyukov - Goroutines kapapar

19 sirah hydra. Ringkesan gedhe saka program Dmitry minangka pangembang ing Google sing nggarap tes dinamis kanggo C/C++ lan Go - Address/Memory/ThreadSanitizer, lan alat sing padha kanggo kernel Linux. Kontribusi kanggo Go penjadwal goroutine sing bisa diukur, poller jaringan, lan kolektor sampah paralel. Dheweke ahli ing multithreading, penulis algoritma non-blocking anyar lan dadi pemilik saka Sabuk Ireng Intel.

Saiki sethithik babagan laporan kasebut. Basa Go nduweni dhukungan asli kanggo multithreading ing wangun goroutine (utas cahya) lan saluran (antrian FIFO). Mekanisme iki nggampangake lan nyenengake pangguna kanggo nulis aplikasi multi-Utas modern, lan katon kaya sihir. Kaya sing dingerteni, ora ana sihir ing kene. Ing pirembagan iki, Dmitry bakal nyelidiki kerumitan jadwal Go lan nuduhake rahasia ngleksanakake "sihir" iki. Pisanan, dheweke bakal menehi ringkesan babagan komponen utama panjadwal lan pitutur marang kowe cara kerjane. Sabanjure, kita bakal nliti aspek individu kayata strategi parkir / unparking lan nangani telpon sistem pamblokiran. Pungkasan, Dmitry bakal ngomong sethithik babagan kemungkinan dandan kanggo panjadwal.

Dmitry Bugaichenko - Nyepetake analisis grafik sing disebarake kanthi sketsa probabilistik lan liya-liyane

19 sirah hydra. Ringkesan gedhe saka program Dmitry makarya ing outsourcing meh 9 taun tanpa kelangan kontak karo universitas lan masyarakat ilmiah. Analisis data gedhe ing Odnoklassniki dadi kesempatan unik kanggo nggabungake latihan teoretis lan dhasar ilmiah kanthi pangembangan produk nyata sing dikarepake.

Analisis grafik sing disebarake wis lan tetep dadi tugas sing angel: yen perlu kanggo entuk informasi babagan sambungan vertex tetanggan, data asring kudu ditransfer antarane mesin, sing ndadékaké tambah wektu eksekusi lan mbukak infrastruktur jaringan. Ing pirembagan iki, kita bakal weruh carane sampeyan bisa entuk kecepatan pangolahan sing signifikan kanthi nggunakake struktur data probabilistik utawa fakta kaya simetri grafik persahabatan ing jaringan sosial. Kabeh iki digambarake karo conto kode ing Apache Spark.

Denis Rystsov - Ngurangi biaya panyimpenan kanthi Replikasi Transient lan Kuorum Murah

19 sirah hydra. Ringkesan gedhe saka program Denis - pangembang Kosmos DB, pakar mriksa model konsistensi, algoritma konsensus, lan transaksi sing disebarake. Dheweke saiki kerja ing Microsoft, lan sadurunge dheweke kerja ing sistem distribusi ing Amazon lan Yandex.

Ing pirembagan iki, kita bakal nliti protokol transaksi sing disebarake sing wis diciptakake sajrone sawetara taun kepungkur, sing bisa dileksanakake ing sisih klien ing ndhuwur sembarang nyimpen data sing ndhukung nganyari kondisional (mbandhingake lan nyetel). Ing ngisor iki yaiku yen urip ora rampung kanthi komitmen rong fase, transaksi bisa ditambahake ing ndhuwur database apa wae - ing tingkat aplikasi, nanging protokol sing beda (2PC, Percolator, RAMP) duwe tradeoff sing beda lan ora diwenehake marang kita. gratis.

Alexey Zinoviev - Ora kabeh algoritma ML nggawe swarga disebarake

19 sirah hydra. Ringkesan gedhe saka program Alexei (zaleslaw) minangka pamicara lan anggota panitia program ing konferensi liyane. Praktek pelatih ing EPAM Systems, lan wis kekancan karo Hadoop/Spark lan data gedhe liyane wiwit 2012.

Ing pirembagan iki, Alexey bakal ngomong babagan masalah adaptasi algoritma pembelajaran mesin klasik kanggo eksekusi ing mode terdistribusi adhedhasar pengalamane nggarap Apache Spark ML, Apache Mahout, Apache Flink ML lan pengalaman nggawe Apache Ignite ML. Alexey uga bakal ngomong babagan implementasine algoritma ML sing disebarake ing kerangka kasebut.

Lan pungkasane, loro laporan saka Yandex babagan Database Yandex.

Vladislav Kuznetsov - Database Yandex - kepiye kita njamin toleransi kesalahan

19 sirah hydra. Ringkesan gedhe saka program Vladislav minangka pangembang ing Yandex ing grup platform sing disebarake. Database Yandex minangka DBMS sing bisa diukur sacara horisontal, disebarake kanthi geo, tahan kesalahan sing bisa nahan kegagalan disk, server, rak lan pusat data tanpa ilang konsistensi. Kanggo njamin toleransi kesalahan, algoritma kepemilikan kanggo entuk konsensus sing disebarake digunakake, uga sawetara solusi teknis, sing dibahas kanthi rinci ing laporan kasebut. Laporan kasebut bisa uga menarik kanggo pangembang DBMS lan pangembang solusi aplikasi adhedhasar DBMS.

Semyon Checherinda - Transaksi sing disebarake ing YDB

19 sirah hydra. Ringkesan gedhe saka program Semyon minangka pangembang ing grup platform sing disebarake ing Yandex, nggarap kemungkinan nggunakake multi-tenant instalasi YDB.

Yandex Database dirancang kanggo pitakon OLTP lan tundhuk karo syarat ACID kanggo sistem transaksi. Ing laporan iki, kita bakal nimbang algoritma penjadwalan transaksi sing ndasari sistem transaksi YDB. Ayo goleki entitas endi sing melu transaksi, sing menehi urutan global kanggo transaksi, carane atomicity transaksi, linuwih, lan tingkat isolasi sing ketat bisa ditindakake. Nggunakake masalah umum minangka conto, ayo goleki implementasi transaksi nggunakake komit rong fase lan transaksi deterministik. Ayo padha ngrembug bedane.

Apa sabanjuré?

Program konferensi terus diisi karo laporan anyar. Ing tartamtu, kita nyana laporan saka Nikita Koval (ndkoval) saka JetBrains lan Oleg Anastasyev (m0nstermind) saka perusahaan Odnoklassniki. Nikita nggarap algoritma kanggo coroutine ing tim Kotlin, lan Oleg ngembangake arsitektur lan solusi kanggo sistem beban dhuwur ing platform Odnoklassniki. Kajaba iku, ana 1 liyane slot kondisi kosong, panitia program nggarap calon kanggo saiki.

Konferensi Hydra bakal ditindakake ing Juli 11-12 ing St. Tiket kasedhiya tuku ing situs web resmi. Mangga mbayar manungsa waé kanggo kasedhiyan karcis Online - yen sakperangan alesan sampeyan ora bisa kanggo St. Petersburg dina iki.

Sampai jumpa di Hydra!

Source: www.habr.com

Add a comment