19 huluna hydra. Tinjauan hébat ngeunaan program

Konférénsi bakal lumangsung dina 11-12 Juli di St Hydra, dedicated ka ngembangkeun sistem paralel jeung disebarkeun. Trik Hydra nyaéta yén éta ngahijikeun élmuwan anu keren (anu biasana ngan ukur dipendakan dina konferensi ilmiah asing) sareng insinyur latihan anu kasohor kana hiji program ageung di simpang élmu sareng prakték.

Hydra mangrupikeun salah sahiji konperénsi anu paling penting dina sababaraha taun ka pengker. Ieu dimimitian ku persiapan pisan serius, pilihan speaker jeung laporan. Minggu kamari ngeunaan ieu wawancara habro kaluar jeung diréktur JUG.ru Grup, Alexey Fedorov (23derevo).

urang geus bébéja ngeunaan tilu pamilon penting, pendiri téori sistem disebarkeun - Leslie Lamport, Maurice Herlihy sarta Michael Scott. Waktosna pikeun ngobrol sacara langkung rinci ngeunaan sadayana program!

19 huluna hydra. Tinjauan hébat ngeunaan program

alesan

Mun anjeun kalibet dina programming, lajeng salah sahiji atawa cara séjén anjeun kaayaan multithreading sarta komputasi disebarkeun. Ahli dina widang relevan gawé bareng aranjeunna langsung, tapi sacara implisit, distribusi ningali urang ti madhab: di mana wae komputer multi-core atawa layanan disebarkeun aya hal anu ngalakukeun itungan dina paralel.

Aya seueur konperénsi anu nyertakeun sababaraha aspék program aplikasi. Di sisi séjén spéktrum, kami ngagaduhan sakola ilmiah khusus anu ngungkabkeun seueur téori kompleks dina format ceramah. Contona, dina paralel jeung Hydra di St Petersburg aya sakola SPTDC. Dina konperénsi Hydra, urang nyobian ngahijikeun prakték kasar, élmu, sareng sadayana di simpangna.

Pikirkeun ieu: urang hirup dina waktos anu luar biasa nalika anjeun tiasa pendak sareng pendiri bidang sains sareng rékayasa anu urang pelajari. Fisikawan moal papanggih boh Newton atawa Einstein - karéta geus ditinggalkeun. Tapi di gigireun urang masih hirup jalma anu nyiptakeun yayasan tina téori sistem disebarkeun, nimukeun basa programming populér, sarta pikeun kahiji kalina embodied sadayana ieu dina purwa gawé. Jalma-jalma ieu henteu ngantunkeun padamelanana satengahna, aranjeunna ayeuna nuju ngusahakeun masalah-masalah anu penting di paguron luhur sareng perusahaan anu terkenal di dunya, sareng mangrupikeun sumber pangaweruh sareng pangalaman anu paling hébat ayeuna.

Di sisi anu sanésna, kasempetan pikeun pendak sareng aranjeunna biasana tetep téoritis: sababaraha urang tiasa terus-terusan ngawas acara umum di sababaraha Universitas Rochester, teras buru-buru ka Amérika Serikat sareng uih deui pikeun ceramah sareng Michael Scott. Nganjang ka sadaya anggota Hydra bakal ngarugikeun saeutik pakaya, teu kaétang jurang waktu wasted (sanajan disada kawas hiji quest metot).

Di sisi anu sanésna, urang gaduh seueur insinyur top anu nuju ngusahakeun masalah pencét dina sistem anu disebarkeun ayeuna, sareng aranjeunna pasti gaduh seueur anu dicarioskeun. Tapi ieu masalahna - aranjeunna работают, sarta waktu maranéhanana berharga. Leres, upami anjeun karyawan Microsoft, Google atanapi JetBrains, kamungkinan pendak sareng salah sahiji panyatur anu kasohor dina acara internal ningkat sacara signifikan, tapi sacara umum, henteu, ieu henteu kajantenan unggal dinten.

Ku cara kieu, Konperénsi Hydra ngalaksanakeun tugas penting anu kalolobaan urang teu tiasa laksanakeun nyalira - dina hiji tempat sareng dina hiji waktos, éta ngahijikeun jalma anu ideu atanapi interaksi sareng anu tiasa ngarobih kahirupan anjeun. Kuring ngaku yén henteu sadayana peryogi sistem anu disebarkeun atanapi sababaraha hal dasar anu kompleks. Anjeun tiasa program CRUDs dina PHP pikeun sesa hirup anjeun sarta tetep lengkep senang. Tapi saha waé anu peryogi éta, ieu mangrupikeun kasempetan anjeun.

Rada lila geus kaliwat saprak pengumuman mimiti konferensi Hydra on Habré. Salila ieu, seueur padamelan anu parantos dilakukeun - sareng ayeuna urang gaduh daptar ampir sadaya laporan. Taya algoritma single-threaded sluggish, ngan murni disebarkeun hardcore! Hayu urang rengse ku kecap umum tur tingal kumaha urang boga di leungeun urang ayeuna.

Keynotes

Keynotes dimimitian jeung mungkas poé konferensi. Biasana titik konci bubuka nyaéta nyetél sumanget umum sareng arah konperénsi. Keynote nutup draws garis tur ngécéskeun kumaha urang bisa hirup kalawan pangaweruh jeung kaahlian kaala salila konferensi. Awal jeung ahir: naon inget pangalusna, sarta sacara umum, geus ngaronjat significance.

Cliff Klik Algoritma K/V anu disebarkeun H2O

19 huluna hydra. Tinjauan hébat ngeunaan program Cliff mangrupikeun legenda di dunya Jawa. Dina ahir taun 90an, pikeun skripsi PhD-na, anjeunna nyerat makalah anu judulna "Ngagabungkeun Analisis, Ngagabungkeun Optimasi", nu sababaraha waktu saterusna jadi dadasar pikeun HotSpot JVM Server Compiler. Dua taun ti harita, anjeunna parantos damel di Sun Microsystems dina JVM sareng nunjukkeun ka sakumna dunya yén JIT ngagaduhan hak pikeun aya. Sakabeh carita ngeunaan kumaha Java mangrupakeun salah sahiji runtimes modern panggancangna jeung optimizations smartest tur panggancangna sumping ti Cliff Klik. Dina awalna, ieu dipercaya yén lamun hal anu bisa diasupan ka compiler statik, anjeun malah teu kudu nyoba jit eta. Hatur nuhun kana karya Cliff sareng tim, sadaya basa énggal mimiti diciptakeun kalayan ideu kompilasi JIT sacara standar. Tangtosna, ieu sanés padamelan hiji jalma, tapi Cliff maénkeun peran anu penting pisan dina éta.

Dina keynote bubuka, Cliff bakal ngobrol ngeunaan usaha sejen - H20, platform dina-memori pikeun diajar mesin disebarkeun tur scalable pikeun aplikasi industri. Atawa leuwih tepatna, ngeunaan neundeun disebarkeun pasangan konci-nilai di jerona. Ieu mangrupikeun panyimpen anu gancang pisan sareng seueur pasipatan anu pikaresepeun (daptar anu pasti aya dina katerangan), anu ngamungkinkeun ngagunakeun solusi anu sami dina matématika streaming data gedé.

Laporan sanésna anu bakal dipasihkeun ku Cliff nyaéta - Pangalaman Mémori Transaksional Azul Hardware. bagian sejen tina biografi na - sapuluh taun digawé di Azul, dimana anjeunna ngamutahirkeun sareng ningkatkeun seueur hal dina tumpukan hardware sareng téknologi Azul: kompiler JIT, runtime, modél benang, penanganan kasalahan, penanganan tumpukan, interrupts hardware, loading kelas, sareng saterasna - ogé, anjeun nampi gagasan.

Bagian anu paling narik dimimitian nalika aranjeunna ngadamel hardware pikeun usaha ageung - supercomputer pikeun ngajalankeun Java. Ieu hal rada inovatif, tailored husus pikeun Java, nu boga syarat husus - baca halangan memori pikeun low-reureuh kempelan sampah, arrays kalawan bounds mariksa, nelepon virtual ... Salah sahiji téknologi coolest nyaeta hardware memori transactional. Sakabéh L1 tina salah sahiji 864 cores bisa ilubiung dina tulisan transactional, nu hususna penting pikeun gawé bareng konci di Java (blok nyingkronkeun tiasa dianggo dina paralel salami euweuh konflik memori nyata). Tapi ideu anu saé ditumbuk ku kanyataan anu parah - sareng dina obrolan ieu Cliff bakal nyarioskeun ka anjeun naha HTM sareng STM henteu cocog pisan pikeun kaperluan praktis komputasi multi-threaded.

Michael Scott - Struktur data ganda

19 huluna hydra. Tinjauan hébat ngeunaan program Michael témbal - Professor of Élmu Komputer di Universitas Rochester, kalayan saha nasib disambungkeun anjeunna geus 34 taun, sarta di imahna Universitas Wisconsin–Madison, anjeunna dekan salila lima taun. Anjeunna researches sarta ngajarkeun siswa ngeunaan paralel jeung disebarkeun programming jeung desain basa.

Sakabeh dunya weruh Michael berkat buku ajar "Programming Basa Pragmatik", édisi panganyarna anu diterbitkeun rélatif anyar - dina 2015. Pakasabanana "Algoritma pikeun sinkronisasi scalable on dibagikeun-memori multiprocessors" ditampi Hadiah Dijkstra salaku salah sahiji nu kawentar dina widang komputasi disebarkeun sarta bohong kabuka di Universitas Rochester Perpustakaan Online. Anjeun oge bisa nyaho manehna salaku panulis algoritma pisan Michael-Scott ti "Saderhana, Gancang, sareng Praktis Non-Meungpeuk sareng Meungpeuk Algoritma Antrian Bersamaan".

Sedengkeun pikeun dunya Java, ieu mangrupikeun kasus khusus: sareng Doug Lea, anjeunna ngembangkeun algoritma non-blocking sareng antrian sinkron dimana perpustakaan Java dianggo. Ieu persis naon anu bakal janten "Struktur data ganda" - bubuka struktur ieu dina Java SE 6 parantos ningkat prestasi ku 10 kali. java.util.concurrent.ThreadPoolExecutor. Mun anjeun wondering sateuacanna naon ieu "struktur data Dual", lajeng aya informasi ngeunaan eta karya patali.

Maurice Herlihy - Blockchains sareng masa depan komputasi anu disebarkeun

19 huluna hydra. Tinjauan hébat ngeunaan program Maurice Herlihy - meunangna dua Hadiah Dijkstra. Anu kahiji nyaéta pikeun digawé "Singkronisasi Gratis Antosan" (Brown University), sareng anu kadua, langkung énggal - "Memori Transaksional: Rojongan Arsitéktur pikeun Struktur Data Henteu Kunci" (Universitas Téknologi Virginia). Hadiah Dijkstra ngakuan karya anu significance jeung dampak geus katempo salila sahenteuna sapuluh taun, sarta Maurice jelas salah sahiji ahli paling renowned dina widang. Anjeunna ayeuna damel salaku dosen di Universitas Brown sareng gaduh daptar prestasi anu panjang.

Dina keynote nutup ieu, Maurice bakal ngobrol ngeunaan téori jeung praktek sistem disebarkeun blockchain ti sudut pandang tina klasik komputasi disebarkeun jeung kumaha eta simplifies loba masalah patali. Ieu mangrupikeun laporan sacara éksklusif ngeunaan topik konperénsi - sanés ngeunaan pertambangan hype, tapi ngeunaan kumaha pangaweruh urang tiasa dianggo sacara épéktip sareng leres dina hubunganana sareng sababaraha tugas.

Dina Juli 2017, Maurice parantos sumping ka Rusia pikeun ngahadiran sakola SPTDC, milu dina rapat JUG.ru, sareng ngarékamna tiasa ditingali dina YouTube:

Program utama

Salajengna bakal aya gambaran pondok tina laporan anu kalebet dina program. Sababaraha laporan dijelaskeun di dieu sacara rinci, anu sanésna langkung ringkes. Katerangan panjang utamana mah kana laporan basa Inggris anu merlukeun tumbu ka makalah ilmiah, istilah dina Wikipedia, jeung sajabana. Daptar lengkepna sayogi tingali dina ramatloka konferensi. Daptar dina ramatloka bakal diropéa sarta supplemented.

Leslie Laport - Q & A

19 huluna hydra. Tinjauan hébat ngeunaan program Leslie Lamport mangrupikeun panulis karya mani dina komputasi terdistribusi. "LaTeX" nangtung pikeun "Lamport TeX". Éta anjeunna anu munggaran, deui dina 1979, ngawanohkeun konsép konsistensi konsisten, jeung artikel na "Kumaha carana ngadamel komputer multiprocessor anu leres ngajalankeun program multiprocess" nampi Hadiah Dijkstra.

Ieu mangrupikeun bagian anu paling luar biasa tina program tina segi format, sabab éta sanés laporan, tapi sési patarosan sareng jawaban. Lamun bagian signifikan tina panongton geus akrab (atawa bisa jadi akrab) jeung sagala sorts karya dumasar kana "téori Lamport", artikel na laporan sorangan, éta leuwih penting pikeun méakkeun sagala waktos sadia on komunikasi langsung.

Idena basajan - anjeun ningali dua laporan dina YouTube: "Programming Kudu Leuwih ti Coding" и "Upami Anjeun Henteu Nulis Program, Entong Ngagunakeun Basa Pemrograman" sarta nyiapkeun sahanteuna hiji patarosan, sarta Leslie ngajawab.

Anu kahiji tina dua pidéo ieu kami parantos robah jadi artikel habro. Upami anjeun teu gaduh waktos sajam pikeun nonton pidéo, anjeun tiasa gancang maca sadayana dina bentuk téks.

Catetan: Aya seueur deui video Leslie Lamport dina YouTube. Contona, aya hébat kursus TLA+. Versi offline tina sakabéh kursus ieu sayogi di kaca imah pangarang, sarta anjeunna unggah ka YouTube pikeun gampang nempo dina alat nu bagerak.

Martin Kleppmann - Nyingkronkeun data sakuliah alat pamaké pikeun kolaborasi disebarkeun

19 huluna hydra. Tinjauan hébat ngeunaan program Martin Kleppmann mangrupikeun panalungtik di Universitas Cambridge damel dina CRDT sareng verifikasi formal algoritma. buku Martin urang "Ngarancang Aplikasi Data-Intensif", diterbitkeun taun 2017, kabuktian suksés pisan sareng janten daptar laris dina widang neundeun sareng ngolah data. Kevin Scott, CTO di Microsoft, sakali ngomong: "Buku ieu kedah janten kedah-kudu keur insinyur software. Ieu mangrupikeun sumber langka anu ngagabungkeun téori sareng prakték pikeun ngabantosan pamekar langkung pinter dina ngarancang sareng ngalaksanakeun infrastruktur sareng sistem data. Pencipta Kafka sareng CTO Confluent, Jay Kreps, nyarioskeun hal anu sami.

Sateuacan ngalih kana panalungtikan akademik, Martin damel di industri sareng ngadegkeun dua perusahaan anu suksés:

  • Rapportive, dedicated ka mintonkeun profil sosial kontak tina email Anjeun, nu LinkedIn meuli di 2012;
  • Go Test It, layanan pikeun nguji situs wéb sacara otomatis dina sababaraha panyungsi, anu dipésér ku RedGate taun 2009.

Sacara umum, Martin, sanajan kirang kawentar ti keynotes urang, geus bisa nyieun sababaraha kontribusi pikeun ngembangkeun komputasi disebarkeun jeung industri.

Dina ceramah ieu, Martin bakal ngobrol ngeunaan hiji topik ngadeukeutan ka panalungtikan akademik na. Dina Google Docs sareng sofa éditan babarengan dokumen anu sami, "ngédit kolaboratif" nujul kana tugas réplikasi: unggal pangguna gaduh réplika sorangan tina dokumén anu dibagikeun, anu teras dirobih, sareng sadaya parobihan dikirim ka jaringan ka sesa. pamilon. Parobahan kana dokumén offline ngakibatkeun inconsistency samentara tina dokumen dina hubungan pamilon séjén, sarta sinkronisasi ulang merlukeun penanganan konflik. Éta kahayang maranéhna aya pikeun Tipe Data Réplikasi Bebas Konflik (CRDT), saleresna, mangrupikeun hal anu énggal, hakekatna ngan ukur dirumuskeun dina taun 2011. Obrolan ieu ngabahas naon anu kajantenan ti harita di dunya CRDT, naon kamajuan panganyarna, pendekatan pikeun nyiptakeun aplikasi lokal-mimiti sacara umum sareng panggunaan perpustakaan open source. Automerge khususna.

Minggu hareup urang bakal nyebarkeun wawancara panjang sareng Martin on Habré, éta bakal pikaresepeun.

Pedro Ramalhete - Struktur data tanpa ngantosan sareng transaksi tanpa ngantosan

19 huluna hydra. Tinjauan hébat ngeunaan program Pedro damel di Cisco sareng parantos ngembangkeun algoritma paralel salami sapuluh taun ka pengker, kalebet mékanisme sinkronisasi, struktur data gratis-konci sareng antosan sareng sadayana anu anjeun bayangkeun dina topik ieu. Kapentingan panalungtikan sareng rékayasa ayeuna fokus kana Konstruksi Universal, Mémori Transaksional Perangkat Lunak, Mémori Persisten sareng téknologi anu sami anu ngamungkinkeun aplikasi anu leres, skalabel sareng toleran. Anjeunna oge panulis hiji blog dipikawanoh lega di kalangan sempit Concurrency Freaks.

Kalolobaan aplikasi multithreaded ayeuna dijalankeun dina struktur data paralel, ti pamakéan antrian pesen antara aktor jeung struktur data indéks dina toko-nilai konci. Aranjeunna parantos suksés damel di Java JDK mangtaun-taun, sareng aranjeunna laun-laun ditambah kana C ++.

Cara pangbasajanna pikeun nerapkeun struktur data paralel nyaéta palaksanaan sequential (single-threaded) dimana métode ditangtayungan ku mutexes. Ieu tiasa diaksés dina Juni naon waé, tapi ngagaduhan masalah anu jelas sareng skala sareng kinerja. Dina waktu nu sarua, struktur data bébas konci na antosan-gratis teu ukur Cope hadé kalawan kasalahan, tapi ogé boga profil kinerja hadé - kumaha oge, ngembangkeun maranéhanana merlukeun kaahlian jero tur adaptasi kana aplikasi husus. Hiji garis salah kode cukup pikeun megatkeun sagalana.

Kumaha urang tiasa ngajantenkeun éta bahkan anu henteu ahli tiasa ngarancang sareng ngalaksanakeun struktur data sapertos kitu? Perlu dipikanyaho yén sagala algoritma sequential bisa dijieun thread aman ngagunakeun boh desain universal, atawa mémori transactional. Pikeun hiji hal, aranjeunna tiasa nurunkeun halangan pikeun asup kana ngarengsekeun masalah ieu. Sanajan kitu, duanana solusi ilaharna ngakibatkeun palaksanaan teu epektip. Pedro bakal ngobrol ngeunaan kumaha aranjeunna tiasa ngadamel desain ieu langkung éfisién sareng kumaha anjeun tiasa dianggo pikeun algoritma anjeun.

Heidi Howard - Liberating konsensus disebarkeun

19 huluna hydra. Tinjauan hébat ngeunaan program Heidi Howard, sapertos Martin, panalungtik sistem anu disebarkeun di Universitas Cambridge. Spésialisasina nyaéta konsistensi, kasabaran kasalahan, kinerja sareng konsensus anu disebarkeun. Manehna teh pangalusna dipikawanoh pikeun generalisasi nya tina algoritma Paxos disebut Paxos fléksibel.

ngelingan yen Paxos nyaéta kulawarga protokol pikeun ngarengsekeun masalah konsensus dina jaringan komputer dipercaya, dumasar kana karya Leslie Lamport. Janten, sababaraha panyatur urang nuju ngerjakeun tugas anu tadina diusulkeun ku panyatur urang anu sanés - sareng ieu saé.

Kamampuhan pikeun manggihan konsensus diantara sababaraha host-pikeun alamat, pamilihan pamimpin, blocking, atawa koordinasi-mangrupakeun masalah fundamental dina sistem disebarkeun modern. Paxos ayeuna jalan utama pikeun ngajawab masalah konsensus, sarta aya loba panalungtikan lumangsung sabudeureun éta rék dilegakeun tur ngaoptimalkeun algoritma pikeun sagala rupa kaperluan praktis.

Dina obrolan ieu, urang bakal revisit dasar téoritis Paxos, bersantai sarat aslina tur generalizing algoritma. Urang bakal ningali yén Paxos dasarna ngan ukur hiji pilihan diantara sajumlah ageung pendekatan konsensus, sareng yén titik-titik sanés dina spéktrum ogé mangpaat pisan pikeun ngawangun sistem anu disebarkeun anu saé.

Alex Petrov - Ngurangan biaya panyimpen anjeun nganggo Réplikasi Transient sareng Kuorum Murah

19 huluna hydra. Tinjauan hébat ngeunaan program Alex mangrupikeun spesialis database sareng sistem panyimpen, sareng anu langkung penting pikeun urang, committer di Cassandra. Anjeunna ayeuna nuju damel buku, Database Internals, sareng O'Reilly.

Pikeun sistem kalawan konsistensi ahirna (dina terminologi Rusia - "konsistensi pamungkas"), sanggeus hiji titik ngadat atawa pamisah jaringan, Anjeun kudu ngajawab dilema handap: boh neruskeun ngaéksekusi requests, sacrificing konsistensi, atawa nolak ngaéksekusi aranjeunna sarta kurban kasadiaan. Dina sistem sapertos kitu, quorums, tumpang tindihna subset tina titik sarta mastikeun yén sahanteuna hiji titik ngandung nilai panganyarna, bisa jadi solusi ujung alus. Anjeun tiasa salamet kagagalan sareng kaleungitan konektipitas ka sababaraha titik bari tetep ngaréspon ku nilai-nilai panganyarna.

Sanajan kitu, sagalana boga harga na. Skéma réplikasi kuorum hartina waragad gudang ngaronjat: data kaleuleuwihan kudu disimpen dina sababaraha titik sakaligus pikeun mastikeun yén aya cukup salinan sadia nalika masalah lumangsung. Tétéla anjeun henteu kedah nyimpen sadaya data dina sadaya réplika. Anjeun tiasa ngirangan beban dina panyimpenan upami anjeun nyimpen data ngan ukur dina bagian tina titik, sareng nganggo titik khusus (Replika Transient) pikeun skenario penanganan gagal.

Salila laporan urang bakal mertimbangkeun Réplika saksi, skéma réplikasi dipaké dina Spanner и toko mega, sarta palaksanaan konsep ieu dina Apache Cassandra disebut Réplikasi sementara & Korum Murah.

Dmitry Vyukov - Goroutines kakeunaan

19 huluna hydra. Tinjauan hébat ngeunaan program Dmitry mangrupikeun pamekar di Google anu damel dina uji dinamis pikeun C/C++ sareng Go - Address/Memory/ThreadSanitizer, sareng alat anu sami pikeun kernel Linux. Nyumbangkeun ka Go a scheduler goroutine scalable, poller jaringan, sarta collector sampah paralel. Anjeunna ahli dina multithreading, panulis belasan algoritma non-blocking anyar sareng anu gaduh Sabuk Hideung Intel.

Ayeuna saeutik ngeunaan laporan sorangan. Basa Go ngagaduhan dukungan asli pikeun multithreading dina bentuk goroutine (benang cahaya) sareng saluran (antrian FIFO). Mékanisme ieu ngajadikeun eta pisan gampang jeung nikmat keur pamaké nulis aplikasi multi-threaded modern, sarta eta Sigana mah magic. Salaku urang ngartos, euweuh magic di dieu. Dina obrolan ieu, Dmitry bakal delve kana intricacies tina Go scheduler tur némbongkeun Rahasia palaksanaan ieu "magic". Kahiji, anjeunna bakal masihan tinjauan ngeunaan komponén utama scheduler jeung ngabejaan Anjeun kumaha gawéna. Salajengna, urang bakal nyandak katingal ngadeukeutan dina aspék individu kayaning parkir / strategi unparking sarta nanganan blocking panggero sistem. Tungtungna, Dmitry bakal ngobrol saeutik ngeunaan kamungkinan perbaikan ka scheduler nu.

Dmitry Bugaichenko - Ngagancangkeun analisis grafik anu disebarkeun kalayan sketsa probabilistik sareng seueur deui

19 huluna hydra. Tinjauan hébat ngeunaan program Dmitry digawé di outsourcing pikeun ampir 9 taun tanpa kaleungitan kontak jeung universitas sarta komunitas ilmiah. Analisis data badag dina Odnoklassniki janten pikeun anjeunna kasempetan unik pikeun ngagabungkeun latihan téoritis jeung yayasan ilmiah jeung ngembangkeun nyata, produk di-demand.

Analisis grafik anu disebarkeun parantos sareng tetep janten tugas anu sesah: nalika diperyogikeun pikeun kéngingkeun inpormasi ngeunaan sambungan tina vertex tatangga, data sering kedah ditransfer antara mesin, anu nyababkeun kanaékan waktos palaksanaan sareng beban dina infrastruktur jaringan. Dina obrolan ieu, urang bakal ningali kumaha anjeun tiasa kéngingkeun kecepatan ngolah anu signifikan ku ngagunakeun struktur data probabilistik atanapi fakta sapertos simétri grafik silaturahim dina jaringan sosial. Sadaya ieu digambarkeun ku conto kode dina Apache Spark.

Denis Rystsov - Ngurangan biaya panyimpen anjeun nganggo Réplikasi Transient sareng Kuorum Murah

19 huluna hydra. Tinjauan hébat ngeunaan program Denis - pamekar Kosmos DB, ahli dina mariksa model konsistensi, algoritma konsensus, jeung transaksi disebarkeun. Anjeunna ayeuna damel di Microsoft, sareng sateuacan éta anjeunna damel dina sistem anu disebarkeun di Amazon sareng Yandex.

Dina obrolan ieu, urang bakal nyandak katingal di protokol urus disebarkeun nu geus nimukeun leuwih sababaraha taun katukang, nu bisa dilaksanakeun di sisi klien on luhureun sagala toko data nu ngarojong update kondisional (bandingkeun tur nyetel). Intina nyaéta yén kahirupan henteu ditungtungan ku komitmen dua fase, transaksi tiasa ditambihan dina luhureun pangkalan data naon waé - dina tingkat aplikasi, tapi protokol anu béda (2PC, Percolator, RAMP) gaduh tradeoff anu béda sareng henteu dipasihkeun ka kami. haratis.

Alexey Zinoviev - Henteu sadayana algoritma ML ngajantenkeun ka surga anu disebarkeun

19 huluna hydra. Tinjauan hébat ngeunaan program Alexei (salembur) nyaéta spiker lila-lila sarta anggota komite program dina konferensi lianna. Ngalatih palatih di EPAM Systems, sareng parantos babaturan sareng Hadoop/Spark sareng data ageung sanés ti 2012.

Dina obrolan ieu, Alexey bakal ngobrol ngeunaan masalah adapting algoritma mesin learning klasik pikeun palaksanaan dina modeu disebarkeun dumasar kana pangalaman gawé bareng Apache Spark ML, Apache Mahout, Apache Flink ML jeung pangalaman nyieun Apache Ignite ML. Alexey ogé bakal ngobrol ngeunaan palaksanaan algoritma ML disebarkeun dina kerangka ieu.

Sarta pamustunganana, dua laporan ti Yandex ngeunaan Yandex Database.

Vladislav Kuznetsov - Yandex Database - kumaha urang mastikeun kasabaran kasalahan

19 huluna hydra. Tinjauan hébat ngeunaan program Vladislav mangrupikeun pamekar di Yandex dina grup platform anu disebarkeun. Yandex Database mangrupikeun DBMS anu tiasa diskala sacara horisontal, disebarkeun geo, toleran kasalahan anu tiasa nahan kagagalan disk, server, rak sareng pusat data tanpa kaleungitan konsistensi. Pikeun mastikeun kasabaran kasalahan, algoritma proprietary pikeun ngahontal konsensus anu disebarkeun dianggo, ogé sababaraha solusi téknis, anu dibahas sacara rinci dina laporan. Laporan éta tiasa dipikaresep ku pamekar DBMS sareng pamekar solusi aplikasi dumasar kana DBMS.

Semyon Checherinda - Transaksi disebarkeun di YDB

19 huluna hydra. Tinjauan hébat ngeunaan program Semyon mangrupakeun pamekar dina grup platform disebarkeun di Yandex, dipake dina kamungkinan pamakéan multi tenant tina instalasi YDB.

Yandex Database dirancang pikeun patarosan OLTP sareng sasuai sareng syarat ACID pikeun sistem transaksi. Dina laporan ieu, urang bakal mertimbangkeun algoritma scheduling urus nu underlies sistem transaksi YDB. Hayu urang tingali entitas mana anu ilubiung dina transaksi, anu napelkeun urutan global pikeun transaksi, kumaha atomicity transaksi, reliabilitas, sareng tingkat isolasi anu ketat kahontal. Ngagunakeun masalah umum sabagé conto, hayu urang nempo palaksanaan urus ngagunakeun dua-fase commits jeung transaksi deterministik. Hayu urang ngabahas béda maranéhanana.

Naon saterusna?

Program konferensi terus dieusi ku laporan anyar. Khususna, urang ngarepkeun laporan ti Nikita Koval (ndkoval) ti JetBrains jeung Oleg Anastasyev (m0nstermind) ti perusahaan Odnoklassniki. Nikita dianggo dina algoritma pikeun coroutines dina tim Kotlin, sarta Oleg ngembangkeun arsitektur jeung solusi pikeun sistem beban tinggi dina platform Odnoklassniki. Sajaba ti éta, aya 1 deui conditionally slot kosong, panitia program gawé bareng calon pikeun eta ayeuna.

Konférénsi Hydra bakal lumangsung dina 11-12 Juli di St. Tikét sayogi meuli on ramatloka resmi. Mangga nengetan kasadiaan tiket Online - lamun keur sababaraha alesan anjeun teu bisa meunang ka St.

Sampai jumpa di Hydra!

sumber: www.habr.com

Tambahkeun komentar