Se ssir konferenza bejn il-11 u t-12 ta’ Lulju f’San Pietruburgu , iddedikat għall-iżvilupp ta 'sistemi paralleli u distribwiti. Il-trick ta 'Hydra huwa li jgħaqqad xjenzati friski (li normalment jistgħu jinstabu biss f'konferenzi xjentifiċi barranin) u inġiniera prattikanti famużi fi programm kbir wieħed fl-intersezzjoni tax-xjenza u l-prattika.
Hydra hija waħda mill-aktar konferenzi importanti tagħna fl-aħħar ftit snin. Kienet preċeduta minn preparazzjoni serja ħafna, għażla ta’ kelliema u rapporti. Il-ġimgħa li għaddiet dwar dan mad-direttur tal-Grupp JUG.ru, Alexey Fedorov ().
Aħna madwar tliet parteċipanti importanti, il-fundaturi tat-teorija tas-sistemi distribwiti - Leslie Lamport, Maurice Herlihy u Michael Scott. Wasal iż-żmien li nitkellmu f'aktar dettall dwar il-programm kollu!
Motivazzjoni
Jekk inti involut fl-ipprogrammar, allura b'xi mod jew ieħor qed tittratta multithreading u kompjuters distribwiti. Esperti fl-oqsma rilevanti jaħdmu magħhom direttament, iżda b'mod impliċitu, id-distribuzzjoni qed tħares lejna minn kullimkien: fi kwalunkwe kompjuter multi-core jew servizz distribwit hemm xi ħaġa li twettaq kalkoli b'mod parallel.
Hemm ħafna konferenzi li jkopru diversi aspetti tal-ipprogrammar tal-applikazzjoni. Fuq in-naħa l-oħra tal-ispettru, għandna skejjel xjentifiċi speċjalizzati li jiżvelaw ammonti vasti ta 'teorija kumplessa f'format ta' lecture. Per eżempju, b'mod parallel ma 'Hydra f'San Pietruburgu hemm . Fil-konferenza Hydra, ippruvajna nġibu flimkien prattika ħarxa, xjenza, u kollox fl-intersezzjoni tagħhom.
Aħseb dwar dan: ngħixu fi żmien aqwa meta inti tista 'tiltaqa' personalment mal-fundaturi tal-qasam tax-xjenza u l-inġinerija li nistudjaw. Il-fiżiċi mhux se jiltaqgħu la Newton u lanqas Einstein – il-ferrovija telqet. Imma ħdejna għadhom jgħixu dawk li ħolqu l-pedamenti tat-teorija tas-sistemi distribwiti, ivvintaw lingwi ta 'programmar popolari, u għall-ewwel darba inkorporaw dan kollu f'prototipi ta' ħidma. Dawn in-nies ma ħallewx xogħolhom nofshom, bħalissa qed jaħdmu fuq kwistjonijiet urġenti f’universitajiet u kumpaniji rinomati mad-dinja kollha, u huma l-akbar sorsi ta’ għarfien u esperjenza llum.
Min-naħa l-oħra, l-opportunità li niltaqgħu magħhom normalment tibqa 'purament teoretika: ftit minna jistgħu jissorveljaw kontinwament avvenimenti pubbliċi f'xi Università ta' Rochester, u mbagħad għaġġla lejn l-Istati Uniti u lura għal taħdita ma 'Michael Scott. Li jżuru l-membri kollha ta 'Hydra kien jiswa fortuna żgħira, mingħajr ma jingħaddu l-abyss ta' ħin moħli (għalkemm tinstema' tfittxija interessanti).
Min-naħa l-oħra, għandna ħafna inġiniera ta 'fuq li qed jaħdmu fuq problemi urġenti f'sistemi distribwiti bħalissa, u żgur li għandhom ħafna xi jgħidu. Imma hawn il-problema - huma работают, u l-ħin tagħhom huwa ta 'valur. Iva, jekk inti impjegat ta 'Microsoft, Google jew JetBrains, il-probabbiltà li tiltaqa' ma 'wieħed mill-kelliema famużi f'avveniment intern tiżdied drastikament, iżda b'mod ġenerali, le, dan ma jseħħx kuljum.
B'dan il-mod, il-Konferenza Hydra twettaq kompitu importanti li ħafna minna ma nistgħux nagħmlu waħedna - f'post wieħed u f'ħin wieħed, tiġbor flimkien nies li l-ideat jew l-interazzjonijiet tagħhom jistgħu jbiddlu ħajtek. Nammetti li mhux kulħadd għandu bżonn sistemi distribwiti jew xi affarijiet fundamentali kumplessi. Tista' tipprogramma CRUDs fil-PHP għall-bqija ta' ħajtek u tibqa' kompletament kuntent. Imma min għandu bżonn, dan huwa ċ-ċans tiegħek.
Għadda żmien pjuttost twil mill-ewwel tħabbira tal-konferenza Hydra dwar Habré. Matul dan iż-żmien, sar ħafna xogħol – u issa għandna lista ta’ kważi r-rapporti kollha. L-ebda algoritmi kajman b'ħajt wieħed, biss iebsa mqassma pura! Ejja nispiċċaw bi kliem ġenerali u naraw x’għandna f’idejna issa.
In-noti ewlenin
In-noti ewlenin jibdew u jispiċċaw il-ġranet tal-konferenza. Normalment il-punt ta 'keynote tal-ftuħ huwa li jiġu stabbiliti l-ispirtu ġenerali u d-direzzjoni tal-konferenza. In-nota ewlenija tal-għeluq tfassal linja u tispjega kif nistgħu ngħixu bl-għarfien u l-ħiliet miksuba matul il-konferenza. Il-bidu u t-tmiem: dak li huwa mfakkar l-aħjar, u b'mod ġenerali, żdied sinifikat.
Cliff Ikklikkja
Cliff hija leġġenda fid-dinja Java. Fl-aħħar tas-snin 90, għat-teżi tal-PhD tiegħu, kiteb karta intitolata , li xi żmien wara saret il-bażi għal HotSpot JVM Server Compiler. Sentejn wara, kien diġà qed jaħdem f'Sun Microsystems fuq il-JVM u wera lid-dinja kollha li JIT għandha dritt li teżisti. Din l-istorja kollha dwar kif Java hija waħda mill-aktar runtimes moderni mgħaġġla bl-aktar ottimizzazzjonijiet intelliġenti u mgħaġġla ġew minn Cliff Click. Fil-bidu nett, kien maħsub li jekk xi ħaġa tkun aċċessibbli għal kompilatur statiku, lanqas ma jkollok għalfejn tipprova jittiha. Grazzi għax-xogħol ta 'Cliff u t-tim, il-lingwi l-ġodda kollha bdew jinħolqu bl-idea ta' kumpilazzjoni JIT awtomatikament. Naturalment, dan ma kienx xogħol ta’ raġel wieħed, iżda Cliff kellu rwol importanti ħafna fih.
Fid-diskors tal-ftuħ, Cliff se jitkellem dwar l-isforz l-ieħor tiegħu - , pjattaforma fil-memorja għal tagħlim tal-magni distribwit u skalabbli għal applikazzjonijiet industrijali. Jew b'mod aktar preċiż, dwar il-ħażna mqassma ta 'pari ewlenin-valur ġewwa fiha. Din hija ħażna mgħaġġla ħafna b'ħafna proprjetajiet interessanti (il-lista eżatta tinsab fiha ), li jippermettu l-użu ta 'soluzzjonijiet simili fil-matematika ta' big data streaming.
Rapport ieħor li se jagħti Cliff huwa - . Parti oħra tal-bijografija tiegħu - għaxar snin , fejn aġġorna u tejjeb ħafna affarijiet fil-munzell tal-ħardwer u t-teknoloġija Azul: kompilaturi JIT, runtime, mudell tal-ħajt, ġestjoni tal-iżbalji, immaniġġjar tal-munzell, interruzzjonijiet tal-ħardwer, tagħbija tal-klassi, eċċ u oħrajn - ukoll, ikollok l- idea.
L-aktar parti interessanti bdiet meta għamlu hardware għal negozju kbir - superkompjuter biex iħaddem Java. Kienet ħaġa pjuttost innovattiva, imfassla speċifikament għal Java, li għandha rekwiżiti speċjali - aqra barrieri tal-memorja għal ġbir ta 'żibel b'pawsa baxxa, arrays b'kontroll tal-limiti, sejħiet virtwali... Waħda mit-teknoloġiji l-aktar cool hija l-memorja transazzjonali tal-hardware. L-L1 kollu ta 'kwalunkwe mill-864 qalba jista' jipparteċipa fil-kitba transazzjonali, li hija speċjalment importanti biex taħdem ma 'serraturi f'Java (blokki sinkronizzati jistgħu jaħdmu b'mod parallel sakemm ma jkunx hemm kunflitt ta' memorja reali). Iżda l-idea sabiħa tgħaffeġ minn realtà ħarxa - u f'din it-taħdita Cliff jgħidlek għaliex l-HTM u l-STM mhumiex adattati ħafna għall-ħtiġijiet prattiċi tal-kompjuters multi-threaded.
Michael Scott -
- Professur tax-Xjenza tal-Kompjuter fl-Università ta 'Rochester, li miegħu d-destin konnessuh , u fl-Università tad-dar tiegħu ta 'Wisconsin–Madison, kien dekan għal ħames snin. Huwa jirriċerka u jgħallem lill-istudenti dwar programmazzjoni parallela u distribwita u disinn tal-lingwa.
Id-dinja kollha taf lil Michael grazzi għall-ktieb tat-test , li l-aħħar edizzjoni tagħha ġiet ippubblikata relattivament reċentement - fl-2015. Ix-xogħol tiegħu riċevuti bħala wieħed mill-aktar famużi fil-qasam tal-kompjuters distribwiti u fil-Librerija Online tal-Università ta’ Rochester. Inti tista 'wkoll taf lilu bħala l-awtur ta' l-algoritmu Michael-Scott ħafna minn .
Fir-rigward tad-dinja Java, dan huwa każ speċjali: flimkien ma 'Doug Lea, huwa żviluppa l-algoritmi li ma jimblukkawx u l-kjuwijiet sinkroniċi li fuqhom jaħdmu l-libreriji Java. Dan huwa eżattament dak li se tkun dwar "Istrutturi tad-dejta doppja" - l-introduzzjoni ta 'dawn l-istrutturi f'Java SE 6 tejbet il-prestazzjoni b'10 darbiet java.util.concurrent.ThreadPoolExecutor. Jekk qed tistaqsi minn qabel x'inhuma dawn l-"Istrutturi tad-dejta Doppju", allura hemm informazzjoni dwarha .
Maurice Herlihy -
- rebbieħ ta' żewġ Premjijiet Dijkstra. L-ewwel waħda hija għax-xogħol fuq (Università Brown), u t-tieni, aktar reċenti - (Virginia Tech University). Il-Premju Dijkstra jirrikonoxxi xogħol li s-sinifikat u l-impatt tiegħu ilu viżibbli għal mill-inqas għaxar snin, u Maurice huwa ċar li huwa wieħed mill-aktar esperti rinomati fil-qasam. Bħalissa jaħdem bħala professur fl-Università ta 'Brown u għandu lista ta' paragrafi ta 'kisbiet.
F'din il-keynote tal-għeluq, Maurice se jitkellem dwar it-teorija u l-prattika tas-sistemi distribwiti blockchain mil-lat tal-klassiċi tal-kompjuters distribwiti u kif tissimplifika ħafna problemi relatati. Dan huwa rapport esklussivament dwar is-suġġett tal-konferenza - xejn dwar hype tal-minjieri, iżda pjuttost dwar kif l-għarfien tagħna jista 'jintuża b'mod aqwa b'mod effettiv u xieraq fir-rigward ta' varjetà ta 'kompiti.
F'Lulju 2017, Maurice diġà ġie r-Russja biex jattendi l-iskola SPTDC, ipparteċipa fil-laqgħa JUG.ru, u r-reġistrazzjoni tista 'tara fuq YouTube:
Programm ewlieni
Wara jkun hemm ħarsa ġenerali qasira tar-rapporti inklużi fil-programm. Uħud mir-rapporti huma deskritti hawn fid-dettall, oħrajn fil-qosor. Deskrizzjonijiet twal marru prinċipalment għal rapporti bil-lingwa Ingliża li kienu jeħtieġu links għal karti xjentifiċi, termini fuq il-Wikipedija, eċċ. Il-lista sħiħa hija disponibbli . Il-lista fuq il-websajt se tiġi aġġornata u supplimentata.
Leslie Lampport -
Leslie Lamport hija l-awtur ta' xogħlijiet seminali fil-kompjuters distribwiti. tirreferi għal "Lamport TeX". Kien hu li l-ewwel, lura fl-1979, daħħal il-kunċett , u l-artiklu tiegħu irċieva l-Premju Dijkstra.
Din hija l-aktar parti mhux tas-soltu tal-programm f'termini ta 'format, għaliex lanqas biss hija rapport, iżda sessjoni ta' mistoqsija u tweġiba. Meta parti sinifikanti tal-udjenza tkun diġà familjari (jew tista' ssir familjari) ma 'kull xorta ta' xogħlijiet ibbażati fuq "it-teorija ta 'Lamport", l-artikoli u r-rapporti tiegħu stess, huwa aktar importanti li jqatta' l-ħin kollu disponibbli fuq komunikazzjoni diretta.
L-idea hija sempliċi - tara żewġ rapporti fuq YouTube: и u ħejji mill-inqas mistoqsija waħda, u Leslie twieġeb.
L-ewwel minn dawn iż-żewġ videos għandna diġà . Jekk ma jkollokx siegħa ħin biex tara l-video, tista 'malajr taqra dan kollu f'forma ta' test.
Nota: Hemm ħafna aktar videos Leslie Lampport fuq YouTube. Per eżempju, hemm eċċellenti . Verżjoni offline ta’ dan il-kors kollu hija disponibbli fuq , u tellagħha fuq YouTube biex taraha aktar faċli fuq apparat mobbli.
Martin Kleppmann -
Martin Kleppmann huwa riċerkatur fl-Università ta' Cambridge li jaħdem fuq is-CRDT u l-verifika formali tal-algoritmi. Ktieb ta’ Martin , ippubblikat fl-2017, wera li kellu suċċess kbir u daħħalha fuq il-listi tal-bestsellers fil-qasam tal-ħażna u l-ipproċessar tad-data. Kevin Scott, CTO ta' Microsoft, : “Dan il-ktieb għandu jkun indispensabbli għall-inġiniera tas-softwer. Din hija riżorsa rari li tgħaqqad it-teorija u l-prattika biex tgħin lill-iżviluppaturi aktar intelliġenti fit-tfassil u l-implimentazzjoni ta’ sistemi ta’ infrastruttura u dejta.” Il-kreatur ta 'Kafka u CTO ta' Confluent, Jay Kreps, qal xi ħaġa simili.
Qabel ma daħal fir-riċerka akkademika, Martin ħadem fl-industrija u kofunda żewġ start-ups ta’ suċċess:
- Rapportiv, iddedikat għall-wiri tal-profil soċjali tal-kuntatti mill-email tiegħek, li LinkedIn xtara fl-2012;
- Go Test It, servizz biex jiġu ttestjati awtomatikament websajts f’diversi browsers, li RedGate xtrat fl-2009.
B'mod ġenerali, Martin, għalkemm inqas famuż mill-keynotes tagħna, diġà kien kapaċi jagħmel xi kontribut għall-iżvilupp tal-kompjuters distribwiti u għall-industrija.
F'din it-taħdita, Martin se jitkellem dwar suġġett eqreb tar-riċerka akkademika tiegħu. F'Google Docs u sufani ta' koeditjar ta' dokumenti simili, "editjar kollaborattiv" jirreferi għal kompitu ta' replikazzjoni: kull utent għandu r-replika tiegħu tad-dokument kondiviż, li mbagħad jimmodifika, u l-bidliet kollha jintbagħtu madwar in-netwerk lill-bqija tad-dokument. parteċipanti. Bidliet fid-dokumenti offline iwasslu għal inkonsistenza temporanja tad-dokument fir-rigward ta’ parteċipanti oħra, u s-sinkronizzazzjoni mill-ġdid teħtieġ ġestjoni tal-kunflitti. Dan huwa eżattament għalxiex jeżistu (CRDT), fil-fatt, hija ħaġa pjuttost ġdida, li l-essenza tagħha ġiet ifformulata biss fl-2011. Din it-taħdita tiddiskuti x’ġara minn dakinhar fid-dinja tas-CRDT, x’inhuma l-aktar avvanzi reċenti, l-approċċ għall-ħolqien ta’ applikazzjonijiet lokali l-ewwel b’mod ġenerali u l-użu ta’ librerija open source partikolarment.
Il-ġimgħa d-dieħla se nippubblikaw intervista twila ma’ Martin fuq Habré, se tkun interessanti.
Pedro Ramalhete -
Pedro jaħdem ma' Cisco u ilu jiżviluppa algoritmi paralleli għal dawn l-aħħar għaxar snin jew hekk, inklużi mekkaniżmi ta 'sinkronizzazzjoni, strutturi ta' data mingħajr lock u stennija u dak kollu li tista 'timmaġina dwar dan is-suġġett. L-interessi attwali tar-riċerka u l-inġinerija tiegħu jiffokaw fuq Kostruzzjonijiet Universali, Memorja Transazzjonali tas-Software, Memorja Persistenti u teknoloġiji simili li jippermettu applikazzjonijiet korretti, skalabbli u tolleranti għall-ħsarat. Huwa wkoll l-awtur ta 'blog magħruf ħafna f'ċrieki dojoq .
Il-biċċa l-kbira tal-applikazzjonijiet multithreaded issa jaħdmu fuq strutturi ta' data paralleli, mill-użu ta' kjuwijiet ta' messaġġi bejn l-atturi għal strutturi ta' data indiċjati fi ħwienet ta' valur ewlieni. Huma ilhom jaħdmu b'suċċess fil-Java JDK għal ħafna snin, u bil-mod qed jiżdiedu ma 'C++.
L-eħfef mod biex tiġi implimentata struttura ta' data parallela hija implimentazzjoni sekwenzjali (b'ħajta waħda) li fiha l-metodi huma protetti minn mutexes. Dan huwa aċċessibbli għal kull Ġunju, iżda għandu problemi ovvji bl-iskala u l-prestazzjoni. Fl-istess ħin, strutturi tad-dejta mingħajr lock u stennija mhux biss ilaħħqu aħjar mal-iżbalji, iżda għandhom ukoll profil ta 'prestazzjoni aħjar - madankollu, l-iżvilupp tagħhom jeħtieġ għarfien espert profond u adattament għal applikazzjoni speċifika. Linja waħda ħażina ta 'kodiċi hija biżżejjed biex tkisser kollox.
Kif nistgħu nagħmluha sabiex anke min mhux espert ikun jista' jiddisinja u jimplimenta tali strutturi ta' data? Huwa magħruf li kwalunkwe algoritmu sekwenzjali jista 'jsir bla periklu bl-użu ta' jew , jew memorja transazzjonali. Għal ħaġa waħda, jistgħu jbaxxu l-ostaklu għad-dħul fis-soluzzjoni ta 'din il-problema. Madankollu, iż-żewġ soluzzjonijiet tipikament iwasslu għal implimentazzjoni ineffettiva. Pedro se jitkellem dwar kif irnexxielhom jagħmlu dawn id-disinji aktar effiċjenti u kif tista’ tużahom għall-algoritmi tiegħek.
Heidi Howard -
Heidi Howard hija, bħal Martin, riċerkatur tas-sistemi distribwiti fl-Università ta 'Cambridge. L-ispeċjalitajiet tagħha huma l-konsistenza, it-tolleranza tal-ħsarat, il-prestazzjoni u l-kunsens distribwit. Hija l-aktar magħrufa għall-ġeneralizzazzjoni tagħha tal-algoritmu Paxos imsejjaħ .
Ifakkar li hija familja ta 'protokolli biex issolvi l-problema ta' kunsens f'netwerk ta 'kompjuters mhux affidabbli, ibbażat fuq ix-xogħol ta' Leslie Lamport. Għalhekk, xi wħud mill-kelliema tagħna qed jaħdmu fuq problemi li oriġinarjament kienu proposti mill-kelliema l-oħra tagħna - u dan huwa sabiħ.
Il-ħila li ssib kunsens fost bosta hosts—għall-indirizzar, l-elezzjoni tal-mexxej, l-imblukkar, jew il-koordinazzjoni—hija kwistjoni fundamentali fis-sistemi distribwiti moderni. Paxos issa huwa l-mod ewlieni biex issolvi problemi ta 'kunsens, u hemm ħafna riċerka għaddejjin madwaru biex jespandu u jottimizzaw l-algoritmu għal diversi ħtiġijiet prattiċi.
F'din it-taħdita, se nirrevedu l-bażi teoretika ta 'Paxos, nillaxkaw ir-rekwiżiti oriġinali u niġġeneralizzaw l-algoritmu. Ser naraw li Paxos huwa essenzjalment għażla waħda biss fost firxa kbira ta 'approċċi ta' kunsens, u li punti oħra fuq l-ispettru huma wkoll utli ħafna għall-bini ta 'sistemi distribwiti tajbin.
Alex Petrov -
Alex huwa speċjalista tad-database u tas-sistemi tal-ħażna, u aktar importanti għalina, kommittur . Bħalissa qed jaħdem fuq ktieb, Database Internals, ma' O'Reilly.
Għal sistemi bi (fit-terminoloġija Russa - "konsistenza aħħarija"), wara ħabtiet ta 'nodu jew qsim tan-netwerk, għandek bżonn issolvi d-dilemma li ġejja: jew tkompli tesegwixxi talbiet, tissagrifika l-konsistenza, jew tirrifjuta li tesegwixxihom u tissagrifika d-disponibbiltà. F'sistema bħal din, kworums, subsettijiet ta' nodi li jikkoinċidu u li jiżguraw li mill-inqas nodu wieħed ikun fih l-aktar valur reċenti, jistgħu jkunu soluzzjoni ta 'tarf tajba. Tista 'tgħix fallimenti u telf ta' konnettività għal xi nodi filwaqt li tkun għadha tirrispondi bl-aħħar valuri.
Madankollu, kollox għandu l-prezz tiegħu. Skema ta' replikazzjoni ta' kworum tfisser spejjeż ta' ħażna miżjuda: id-dejta żejda trid tinħażen fuq nodi multipli f'daqqa biex jiġi żgurat li jkun hemm biżżejjed kopji disponibbli meta sseħħ problema. Jirriżulta li m'għandekx għalfejn taħżen id-dejta kollha fuq ir-repliki kollha. Tista 'tnaqqas it-tagħbija fuq il-ħażna jekk taħżen id-dejta biss fuq parti min-nodi, u tuża nodi speċjali (Replika Transitorja) għal xenarji ta' mmaniġġjar ta 'falliment.
Matul ir-rapport se nikkunsidraw , l-iskema ta’ replikazzjoni użata fi и , u l-implimentazzjoni ta 'dan il-kunċett fl-Apache Cassandra imsejħa .
Dmitry Vyukov -
Dmitry huwa żviluppatur fil-Google li jaħdem fuq ittestjar dinamiku għal C/C++ u Go - Address/Memory/ThreadSanitizer, u għodod simili għall-kernel Linux. Ikkontribwixxa għal Go a Scheduler goroutine skalabbli, poller tan-netwerk, u kollettur taż-żibel parallel. Huwa espert fil-multithreading, l-awtur ta’ tużżana algoritmi ġodda li ma jimblukkawx u huwa s-sid ta’ Intel.
Issa ftit dwar ir-rapport innifsu. Il-lingwa Go għandha appoġġ nattiv għal multithreading fil-forma ta 'goroutines (ħjut ħfief) u kanali (kjuwijiet FIFO). Dawn il-mekkaniżmi jagħmluha faċli ħafna u pjaċevoli għall-utenti biex jiktbu applikazzjonijiet moderni b'ħafna kamini, u jidher qisu magic. Kif nifhmu, m'hemm l-ebda maġija hawn. F'din it-taħdita, Dmitry se jidħol fl-intricacies tal-Go scheduler u juri s-sigrieti tal-implimentazzjoni ta 'din il-"maġija". L-ewwel, huwa jagħti ħarsa ġenerali lejn il-komponenti ewlenin tal-iskedar u jgħidlek kif taħdem. Sussegwentement, se nagħtu ħarsa aktar mill-qrib lejn aspetti individwali bħall-istrateġija tal-ipparkjar/unparking u l-immaniġġjar tas-sejħiet tas-sistema tal-imblukkar. Fl-aħħarnett, Dmitry se jitkellem ftit dwar titjib possibbli għall-iskedar.
Dmitry Bugaichenko -
Dmitry ħadem fl-esternalizzazzjoni għal kważi 9 snin mingħajr ma tilef il-kuntatt mal-università u l-komunità xjentifika. L-analiżi tad-dejta kbira f'Odnoklassniki saret għalih ċans uniku li jgħaqqad it-taħriġ teoretiku u l-pedament xjentifiku mal-iżvilupp ta 'prodotti reali, li jintalbu.
L-analiżi tal-grafika mqassma kienet u tibqa 'kompitu diffiċli: meta jsir meħtieġ li tinkiseb informazzjoni dwar il-konnessjonijiet ta' vertiċi ġar, id-dejta ħafna drabi trid tiġi ttrasferita bejn magni, li jwassal għal żieda fil-ħin ta 'eżekuzzjoni u tagħbija fuq l-infrastruttura tan-netwerk. F'din it-taħdita, naraw kif tista' tikseb veloċitajiet sinifikanti ta' pproċessar billi tuża strutturi ta' data probabilistika jew fatti bħas-simetrija tal-graff tal-ħbiberija f'netwerk soċjali. Dan kollu huwa illustrat b'eżempji ta 'kodiċi f'Apache Spark.
Denis Rystsov -
Denis - żviluppatur , espert fil-verifika ta 'mudelli ta' konsistenza, algoritmi ta 'kunsens, u tranżazzjonijiet distribwiti. Bħalissa jaħdem fil-Microsoft, u qabel dan ħadem fuq sistemi distribwiti fl-Amazon u Yandex.
F'din it-taħdita, aħna ser nagħtu ħarsa lejn il-protokolli tat-tranżazzjonijiet distribwiti li ġew ivvintati matul l-aħħar ftit snin, li jistgħu jiġu implimentati fuq in-naħa tal-klijent fuq kwalunkwe maħżen tad-dejta li jappoġġja aġġornament kondizzjonali (qabbel u ssettja). L-aħħar linja hija li l-ħajja ma tispiċċax b'impenn f'żewġ fażijiet, it-tranżazzjonijiet jistgħu jiżdiedu fuq kwalunkwe database - fil-livell ta 'applikazzjoni, iżda protokolli differenti (2PC, Percolator, RAMP) għandhom kompromessi differenti u ma jingħatawx lilna. b'xejn.
Alexey Zinoviev -
Alexei () huwa kelliem għal żmien twil u membru tal-kumitati tal-programm f'konferenzi oħra. Trejner prattikanti f'EPAM Systems, u ilu ħbieb ma' Hadoop/Spark u big data oħra mill-2012.
F'din it-taħdita, Alexey se jitkellem dwar il-problemi tal-adattament tal-algoritmi klassiċi tat-tagħlim tal-magni għall-eżekuzzjoni f'mod distribwit ibbażat fuq l-esperjenza tiegħu ta 'ħidma ma' Apache Spark ML, Apache Mahout, Apache Flink ML u l-esperjenza tal-ħolqien ta 'Apache Ignite ML. Alexey se jitkellem ukoll dwar l-implimentazzjoni ta 'algoritmi ML distribwiti f'dawn l-oqfsa.
U finalment, żewġ rapporti minn Yandex dwar Yandex Database.
Vladislav Kuznetsov -
Vladislav huwa żviluppatur f'Yandex fil-grupp ta 'pjattaformi mqassma. Yandex Database hija DBMS orizzontalment skalabbli, ġeo distribwit, tolleranti għall-ħsarat li jista 'jiflaħ il-falliment ta' diski, servers, xtillieri u ċentri tad-dejta mingħajr ma jitilfu l-konsistenza. Biex tiġi żgurata t-tolleranza tal-ħsarat, jintuża algoritmu proprjetarju għall-kisba ta 'kunsens distribwit, kif ukoll għadd ta' soluzzjonijiet tekniċi, li huma diskussi fid-dettall fir-rapport. Ir-rapport jista 'jkun ta' interess kemm għall-iżviluppaturi tad-DBMS kif ukoll għall-iżviluppaturi ta 'soluzzjonijiet ta' applikazzjoni bbażati fuq DBMS.
Semyon Checherinda -
Semyon huwa żviluppatur fil-grupp ta 'pjattaforma mqassma f'Yandex, li jaħdem fuq il-possibbiltà ta' użu b'ħafna kerrejja tal-installazzjoni YDB.
Yandex Database hija mfassla għal mistoqsijiet OLTP u tikkonforma mar-rekwiżiti ACID għal sistema transazzjonali. F'dan ir-rapport, se nikkunsidraw l-algoritmu tal-iskedar tat-tranżazzjonijiet li huwa l-bażi tas-sistema tat-tranżazzjonijiet YDB. Ejja nħarsu lejn liema entitajiet jipparteċipaw fi tranżazzjonijiet, min jassenja ordni globali għat-tranżazzjonijiet, kif jinkisbu l-atomiċità tat-tranżazzjonijiet, l-affidabbiltà u livell strett ta 'iżolament. Bl-użu ta 'problema komuni bħala eżempju, ejja nħarsu lejn l-implimentazzjonijiet tat-tranżazzjonijiet bl-użu ta' kommessi f'żewġ fażijiet u tranżazzjonijiet deterministiċi. Ejja niddiskutu d-differenzi tagħhom.
Xi jmiss?
Il-programm tal-konferenza qed ikompli jimtela b’rapporti ġodda. B'mod partikolari, nistennew rapport minn Nikita Koval () minn JetBrains u Oleg Anastasyev () mill-kumpanija Odnoklassniki. Nikita jaħdem fuq algoritmi għal coroutines fit-tim Kotlin, u Oleg jiżviluppa arkitettura u soluzzjonijiet għal sistemi ta 'tagħbija għolja fil-pjattaforma Odnoklassniki. Barra minn hekk, hemm slot 1 aktar vojt kondizzjonali, il-kumitat tal-programm qed jaħdem mal-kandidati għaliha bħalissa.
Il-konferenza Hydra se ssir bejn il-11 u t-12 ta’ Lulju f’San Pietruburgu. Biljetti huma disponibbli . Jekk jogħġbok oqgħod attent għad-disponibbiltà tal-biljetti Online - jekk għal xi raġuni ma tistax tasal San Pietruburgu f'dawn il-jiem.
Narawkom Hydra!
Sors: www.habr.com