19 hydras galvas. Liels programmas apskats

11-12. jūlijā Sanktpēterburgā notiks konference Hydra, kas veltīta paralēlo un izkliedēto sistēmu izstrādei. Hidras īpašība ir tā, ka tā apvieno lieliskus zinātniekus (kuras parasti var atrast tikai ārzemju zinātniskajās konferencēs) un zināmus praktizējošos inženierus vienā lielā programmā, kas atrodas uz zinātnes un prakses robežas.

Hidra ir viena no mūsu svarīgākajām konferencēm pēdējo gadu laikā. Tai bija nepieciešama ļoti nopietna sagatavošana, runātāju un ziņojumu atlase. Pagājušajā nedēļā par to iznāca Habra-intervija ar uzņēmuma JUG.ru Group direktoriju Alekseju Fedorovu (23derevo).

Mēs jau stāstījām par trim svarīgajiem dalībniekiem, izkliedēto sistēmu teorijas pamatlicējiem — Lesliju Lempelortu, Morisu Herlihi un Maiklu Skotu. Ir pienācis laiks detalizētāk apspriest visu programmu!

19 hydras galvas. Liels programmas apskats

Motivācija

Ja jūs nodarbojaties ar programmēšanu, tad, tā vai citādi, esat saskāries ar daudzdzīslu programmēšanu un izkliedētiem skaitļojumiem. Attiecīgajā jomā strādājošie speciālisti strādā tieši ar tiem, taču neizteikti izkliedētība skatās uz mums no visām pusēm: jebkurā daudzkodolu datorā vai izkliedētā dienestā atradīsies kaut kas, kas vienlaicīgi veic skaitļojumus.

Eksistē daudzas konferences, kas atklāj noteiktus pielietojamās programmēšanas aspektus. Spektra otrā pusē mums ir speciālas zinātniskās skolas, kuras lekciju formātā atklāj milzīgus saspringtas teorijas apjomus. Piemēram, paralēli Hidrām Pēterburgā notiek skola SPTDC. Konferencē Hidra mēs centāmies savienot gan cieto praksi, gan zinātni, gan visu, kas ir uz viņu robežas.

Padomājiet par ko: mēs dzīvojam brīnišķīgā laikā, kad ir iespējams klātienē satikt zinātnes un inženierijas jomas dibinātājus, ar kuriem mēs nodarbojamies. Fizikā nevienam nebūs iespēja satikt Neitonu vai Ejnšteinu — vilciens ir aizgājis. Taču blakus mums joprojām dzīvo tie, kas izveidoja izkliedēto sistēmu teorijas pamatus, izgudroja populāras programmēšanas valodas, pirmo reizi īstenoja visu to strādājošos prototipos. Šie cilvēki nav atstājuši savu darbu pusceļā, tie tieši šobrīd nodarbojas ar aktuālām problēmām pasaulē zināmos universitātēs un uzņēmumos, un ir vislielākie zināšanu un pieredzes avoti mūsdienās.

No otras palabras, la posibilidad de encontrarse con ellos suele ser puramente teórica: pocos de nosotros podemos monitorear constantemente eventos públicos en alguna universidad de Rochester para luego viajar a EE. UU. y de regreso para una conferencia con Michael Scott. Visitar a todos los participantes de Hydra costaría una pequeña fortuna, sin contar el vasto tiempo perdido (aunque eso suena como una misión interesante).

Por otro lado, tenemos muchos ingenieros destacados que están trabajando en problemas actuales de sistemas distribuidos, y definitivamente tienen mucho que contar. Pero aquí está el problema: ellos strādā, y su tiempo es valioso. Sí, si trabajas para Microsoft, Google o JetBrains, la probabilidad de encontrarte con uno de los conocidos ponentes en un evento interno aumenta drásticamente, pero en general, no sucede todos los días.

Así, la conferencia Hydra cumple una importante función que la mayoría de nosotros no podemos hacer por nuestra cuenta: reúne en un mismo lugar y tiempo a personas cuyas ideas o interacciones pueden cambiar tu vida. Admito que no todo el mundo necesita sistemas distribuidos o temas complejos y fundamentales. Se puede programar CRUD en PHP durante toda la vida y seguir siendo bastante feliz. Pero si los necesitas, esta es tu oportunidad.

Desde el primer anuncio de la conferencia Hydra en Habr, ha pasado bastante tiempo. Durante este tiempo, se ha realizado un gran trabajo, y ahora tenemos una lista de casi todas las ponencias. ¡Nada de algoritmos unipuntoletales, solo puro hardcore distribuido! Terminemos con las palabras generales y veamos qué tenemos ahora.

Keynotes

Las keynotes abren y cierran los días de la conferencia. Generalmente, el propósito de la keynote de apertura es establecer el espíritu general y la dirección de la conferencia. La keynote de clausura resume y explica cómo vivir con los conocimientos y habilidades adquiridos durante los días de la conferencia. El comienzo y el final: lo que se recordará mejor y, en general, tiene un significado especial.

Cliff Click — El algoritmo K/V distribuido H2O

19 hydras galvas. Liels programmas apskats Cliff es una leyenda en el mundo de Java. A finales de los años 90, escribió una tesis para su PhD titulada «Combinando Análisis, Combinando Optimizations», kas pēc kāda laika kļuva par pamatu HotSpot JVM Server Compiler. Pēc diviem gadiem viņš jau strādāja Sun Microsystems pie JVM un parādīja pasaulei, ka JIT ir pelnījusi pastāvēt. Visa šī stāsts par to, ka Java ir viens no ātrākajiem mūsdienu laika ierakstiem ar visinteliģentākajiem un ātrākajiem optimizāciju risinājumiem, nāk tieši no Klifa Klika. Sākumā tika uzskatīts, ka, ja kaut kas ir pieejams statiskajam kompilatoram, tad to pat nevajadzētu mēģināt džitīt. Pateicoties Klifa un komandas darbam, visi jaunie valodas sāka tikt izstrādāti ar JIT-kompilāciju kā noklusējumu. Nebija šaubu, ka tā bija ne viena cilvēka darba rezultāts, bet Klifs spēlēja tajā ļoti svarīgu lomu.

Atklājošajā keynotā Klifs pastāstīs par citu savu uzsākumu — H20, atmiņā balstīta platforma izplatītai un skalojamai mašīnmācīšanās industriālai pielietošanai. Precīzāk — par izplatītu atslēgas-vērtības pāru krātuvi iekšā. Tā ir ļoti ātra krātuve ar daudziem interesantiem īpašumiem (precīzs saraksts ir atrodams aprakstā), kuri ļauj izmantot līdzīgus risinājumus lielo datu straumēšanas matematikā.

Vēl viens referāts, ar kuru uzstāsies Klifs — The Azul Hardware Transactional Memory experience. Otra daļa viņa biogrāfijā — desmit gadi darba Azula, kur viņš atjaunināja un uzlaboja daudz ko dzelžos un Azula tehnoloģiju kaudzē: JIT-kompilatorus, laika ierakstus, pavedienu modeli, kļūdu apstrādi, darbu ar steku, aparatūras traucējumus, klašu ielādi un tā tālāk — nu, jūs sapratāt.

Visinteresantākā daļa sākās, kad viņi izstrādāja aparatūru lielajam biznesam — superdators Java palaišanai. Tā bija diezgan inovatīva lieta, kas bija īpaši paredzēta Java, kurai ir īpašas prasības — atmiņas barjeras lasīšanai zemas kavēšanās izsējošanas meklēšanai, masīvi ar robežu pārbaudi, virtuālie izsaukumi… Viens no aizraujošajiem risinājumiem ir aparatūras transakciju atmiņa. Visi L1 no 864 kodoliem varēja piedalīties transakciju pierakstos, kas ir īpaši svarīgi Java bloķēšanas darbam (synchronized blokiem var darboties paralēli, kamēr nav reālu konflikti par atmiņu). Bet skaistā ideja sadurās ar skarbo realitāti — un šajā referātā Klifs pastāstīs, kāpēc HTM un STM nav ļoti labi piemēroti praktiskajām vajadzībām daudz pavedienu aprēķināšanā.

Maikls Skots — Divu datu struktūras

19 hydras galvas. Liels programmas apskats Maikls Skots — profesors datorzinātnē Ričmondas universitātē, ar kuru liktenis viņu saistījis jau 34 gadus, bet dzimtajā universitātē Wisconsin–Madison viņš bija dekāns piecus gadus. Viņš pēta paralēlo un izplatīto programmēšanu un valodu dizainu un māca to studentiem.

Visu pasauli Maikls pazīst pateicoties mācību grāmatai „Programming Language Pragmatics”, pēdējais izdevums, kas iznāca salīdzinoši nesen — 2015. gadā. Viņa darbs „Algorithms for scalable synchronization on shared-memory multiprocessors” iegādājās Dijkstra balvu kā viens no vispazīstamākajiem izplatīto skaitļošanas jomā un brīvi pieejams Ričmondas universitātes tiešsaistes bibliotēkā. Jūs varat arī zināt viņu kā tā autora, kurš izstrādāja Maikla-Skota algoritmu no „Simple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms”.

Kas attiecas uz Java pasauli, tad šeit ir īpaša situācija: kopā ar Doug Lea viņš izstrādāja tos neblokējošos algoritmus un sinhronās rindas, uz kurām balstās Java bibliotēkas. Par to arī būs galvenā runa „Divu datu struktūras” — šo struktūru ieviešana Java SE 6 ļāva uzlabot veiktspēju desmitkārt. java.util.concurrent.ThreadPoolExecutor. Ja jums iepriekš ir interese, kas ir šīs „Divu datu struktūras”, tad par to ir atbilstošs darbs.

Moriss Herlihi — Blokķēdes un izplatītās skaitļošanas nākotne

19 hydras galvas. Liels programmas apskats Moriss Hērlihs — divu Dijkstra balvu ieguvējs. Pirmā — par darbu pie «Wait-Free Synchronization» (Braunova universitāte), un otrā, jaunāka — «Transactional Memory: Architectural Support for Lock-Free Data Structures» (Virgīnijas Tehnoloģiju universitāte). Dijkstra balvu piešķir par darbiem, kuru nozīme un ietekme ir bijusi pamanāma ne mazāk kā desmit gadus, un acīmredzot Moriss ir viens no vispazīstamākajiem speciālistiem šajā jomā. Pašlaik viņš strādā par profesoru Braunova universitātē un ir guvis daudz sasniegumu garā rindā.

Šajā noslēdzošajā galvenajā runā Moriss runās par blokķēžu izplatīto sistēmu teoriju un praksi no klasiskās izplatīto skaitļošanas skatpunkta un par to, kā tas atvieglo daudzus saistītus jautājumus. Šis būs runa ekskluzīvi par konferenču tēmu — nevis par ieguves augstumu, bet drīzāk par to, cik efektīvi un attiecīgi mūsu zināšanas var izmantot dažādu uzdevumu risināšanai.

2017. gada jūlijā Moriss jau apmeklēja Krieviju uz SPTDC skolu, piedalījās JUG.ru meetupā, un ierakstu var skatīt YouTube:

Atskaņot video

Pamatprogramma

Tālāk būs neliels pārskats par referātiem, kas iekļauti programmā. Daļa referātu šeit tiek aprakstīta detalizēti, daļa — īsāk. Garās aprakstus saņēma, galvenokārt, angliski runājošajiem referātiem, kuriem ir vajadzīgas atsauces uz zinātniskajiem darbiem, terminiem Vikipēdijā un tamlīdzīgi. Pilnu sarakstu var redzēt konferences mājaslapā. Saraksts mājaslapā tiks atjaunināts un papildināts.

Leslie Lamport — Jautājumi un atbildes

19 hydras galvas. Liels programmas apskats Leslijs Lempports ir pamatu autors teorētiskajā informātikā. «LaTeX» ir saīsinājums no «Lamport TeX». Tieši viņš pirmo reizi, vēl 1979. gadā, ieviesa jēdzienu sekvenču saskaņotības, un viņa raksts «How to Make a Multiprocessor Computer That Correctly Executes Multiprocess Programs» saņēma Dijkstra prēmiju.

Šī ir visneparastākā formāta daļa no programmas, jo tā nav pat referāts, bet jautājumu un atbilžu sesija. Kad būtiska daļa auditorijas jau ir pazīstama (vai varēs saprast) ar visdažādākajiem darbiem, kas balstīti uz «Lemporta teoriju», viņa paša rakstiem un referātiem, ir svarīgi iztērēt visu pieejamo laiku tiešai komunikācijai.

Ideja ir vienkārša — jūs skatāties divus video YouTube: «Programmēšanai jābūt vairāk nekā kodēšanai» un «Ja jūs nerakstāt programmu, neizmantojiet programmēšanas valodu» un sagatavojat vismaz vienu jautājumu, uz kuru atbildēs Leslijs.

Pirmais no šiem diviem video mēs jau pārveidojām par rakstu. Ja jums nav stundas laika video skatīšanai, varat to ātri izlasīt kā tekstu.

Piezīmei: YouTube ir daudz vairāk video ar Lesliju Lempportu. Piemēram, ir lieliska kursu par TLA+. Offline versija par visu šo kursu ir pieejama autora mājaslapā, un YouTube viņš to ievietoja ērtākai skatīšanai uz mobilajām ierīcēm.

Martin Kleppmann — Datu sinhronizācija starp lietotāju ierīcēm sadalītai sadarbībai

19 hydras galvas. Liels programmas apskats Mārtiņš Klēpmans ir pētnieks Kembridžas universitātē, strādājot pie CRDT un formālas verifikācijas algoritmiem. Mārtiņa grāmata «Datu intensīvas lietojumprogrammas», kas publicēta 2017. gadā, izrādījās ļoti veiksmīga un iekļuva pārdotāko sarakstos datu uzglabāšanas un apstrādes jomā. Kevins Skots, CTO Microsoftā, kādreiz teica: «Šai grāmatai jābūt obligātai inženieriem un izstrādātājiem. Tas ir reti sastopams resurss, kas apvieno teoriju unpraksi, palīdzot izstrādātājiem gudrāk veidot un īstenot infrastruktūru un datu apstrādes sistēmas».

Pirms pievēršanās akadēmiskajiem pētījumiem, Mārtiņš strādāja nozarē un kļuva par divu veiksmīgu jaunizveidoto uzņēmumu līdzīpašnieku:

  • Rapportive, kas bija veltīts sociālā profila attēlošanai jūsu e-pasta kontaktu sarakstā, kuru LinkedIn iegādājās 2012. gadā;
  • Go Test It, pakalpojums automātiskai tīmekļa vietņu pārbaudei dažādās pārlūkprogrammās, kuru RedGate iegādājās 2009. gadā.

Kopumā Mārtiņš, kaut arī ir mazāk pazīstams nekā mūsu galvenie runātāji, jau ir spējis sniegt savu ieguldījumu gan sadalīto skaitļošanas, gan nozares attīstībā.

Šajā ziņojumā Mārtiņš runās par tēmu, kas ir tuvāka viņa akadēmiskajiem pētījumiem. Google Docs un līdzīgiem dokumentu koplabošanas programmatūras izstrādājumiem "koplabošana" nozīmē repliku izplatīšanu: katram lietotājam ir sava kopija kopīgā dokumentā, ko viņi pēc tam maina, un visas izmaiņas tiek nosūtītas pa tīklu citiem dalībniekiem. Dokumentu izmaiņas bezsaistē rada pagaidu nesakritību attiecībā pret pārējiem dalībniekiem, un atkārtota sinhronizācija prasa konfliktu apstrādi. Tieši tam ir paredzēti konfliktus neietekmējošie replikācijas datu tipi (CRDT), būtībā — diezgan jauna lieta, kuras būtība tika formulēta tikai 2011. gadā. Šajā ziņojumā tiek apspriests, kas ir noticis kopš tā laika CRDT pasaulē, kādi ir pēdējie sasniegumi, tiek apspriests pieejas radīšana local-first lietojumprogrammām vispār un open-source bibliotēkas Automerge īpaši.

Nākamnedēļ mēs publicēsim lielu interviju ar Mārtiņu Habrā, tas būs interesanti.

Pedro Ramalhete — Gaidas brīvas datu struktūras un gaidas brīvas transakcijas

19 hydras galvas. Liels programmas apskats Pedros strādā uzņēmumā Cisco un pēdējos desmit gadus izstrādā paralēlos algoritmus, tostarp sinhronizācijas mehānismus, lock-free un wait-free datu struktūras, un visu, ko jūs varat iedomāties šajā jomā. Viņa pašreizējie zinātniskie un inženiertehniskie interesē ir koncentrēti uz Universālajām būvēm, programmatūras transakciju atmiņu, noturīgo atmiņu un līdzīgām tehnoloģijām, kas ļauj realizēt korektas, skalojamas un kļūdu izturīgas lietojumprogrammas. Un viņš ir arī pazīstamā bloga autors Concurrency Freaks.

Lielākā daļa daudzplūsmu lietojumprogrammu šobrīd strādā ar paralēlām datu struktūrām, sākot ar ziņojumu rindām starp aktoriem un beidzot ar indeksētām datu struktūrām key-value glabātuvēs. Java JDK tās veiksmīgi darbojas jau daudzus gadus, un C++ arī pakāpeniski pievieno šādas iespējas.

Vienkāršākais veids, kā īstenot paralēlu datu struktūru, ir secīga (viena plūsmas) īstenošana, kurā metodes ir aizsargātas ar mutexiem. Tas ir pieejams ikvienam junioram, taču tam ir acīmredzamas problēmas ar mērogojamību un veiktspēju. Tajā pašā laikā, lock-free un wait-free datu struktūras ne tikai labāk tiek galā ar kļūdām, bet tām ir arī izdevīgāks veiktspējas profils – tomēr to izstrādei nepieciešama dziļa ekspertīze un pielāgošana konkrētajai izmantošanas metodei. Viena nepareiza koda rinda var sabojāt visu.

Kā panākt, lai pat neeksperti varētu projektēt un īstenot šādas datu struktūras? Ir zināms, ka jebkuru secīgu algoritmu var padarīt drošu pret plūsmām, izmantojot vai nu universālu konstrukciju, vai arī transakciju atmiņu. Abas šīs pieejas var samazināt iebraukšanas slieksni, risinot šo uzdevumu. Tomēr abas šo risinājumu parasti noved pie neefektīvas īstenošanas. Pedros stāstīs, kā viņiem izdevās padarīt šos konstrukcijas efektīvākas un kā tās var izmantot viņu algoritmos.

Heidi Howard — Atbrīvojoša izdalīta konsensusa

19 hydras galvas. Liels programmas apskats Heidi Hovārda — līdzīgi kā Martins, ir izpētes speciāliste izdalītu sistēmu jomā Kembridžas universitātē. Viņas specializācija ir konsekvence, kļūdu tolerances, veiktspēja un izdalīts konsensuss. Viņa ir vislabāk pazīstama ar Paksos algoritma vispārināšanu, kuru sauc par Elastīgo Paksos.

Atgādināsim, ka Paxos — protokolu kopumu, ko izmanto konsensusa problēmas risināšanai, strādājot ar neuzticamiem aprēķinu mezgliem, un tā pamatā ir Leslija Lamparta darbi. Tādējādi daži no mūsu runātājiem strādā pie uzdevumiem, kurus sākotnēji piedāvāja citi mūsu runātāji — un tas ir brīnišķīgi.

Iespēja atrast konsensu starp vairākiem hostiem – adresēšanai, līdera izvēlei, bloķēšanai vai koordinācijai – ir pamatjautājums mūsdienu sadalītajās sistēmās. Paxos šobrīd ir galvenā metode konsensa problēmu risināšanai, un ap to norisinās daudzi pētījumi, kuru mērķis ir paplašināt un optimizēt algoritmu dažādām praktiskām vajadzībām.

Šajā ziņojumā mēs pārskatīsim Paxos teorētiskos pamatus, vājinojot sākotnējās prasības un vispārinot algoritmu. Mēs redzēsim, ka Paxos, būtībā, ir tikai viens no variantiem milzīgā pieeju spektrā konsensam, un ka citas spektra daļas arī ir ļoti noderīgas labu sadalītu sistēmu veidošanā.

Aleks Petrov — Samaziniet uzglabāšanas izmaksas ar pagaidu replikāciju un lētiem kvorumiem

19 hydras galvas. Liels programmas apskats Aleks ir datu bāzu un uzglabāšanas sistēmu speciālists, un, kas ir svarīgi mūsu vajadzībām, komitētājs Cassandra. Kopā ar O’Reilly viņš šobrīd strādā pie grāmatas Database Internals.

Sistēmām ar eventual consistency (krievu terminoloģijā – „saskaņošana galu galā”), pēc mezgla krišanas vai tīkla sadalīšanas ir jāizlemj nākamā dilemmā: turpināt izpildīt pieprasījumus, upurējot saskaņotību, vai atteikt to izpildi un upurēt pieejamību. Šādā sistēmā kvorumi, pārklājoši mezglu apakškopas, kas garantē, ka vismaz viens mezgls saturēs jaunāko vērtību, var kļūt par labu robežrisinājumu. Var izturēt avārijas un savienojuma zudumu dažu mezglu pēdējā gadījumā, turpinot atbildēt ar visjaunākajām vērtībām.

Tomēr viss maksā savu cenu. Kvorumu replikācijas shēma nozīmē paaugstinātas uzglabāšanas izmaksas: ir nepieciešams glabāt liekos datus vairākos mezglos vienlaicīgi, lai garantētu pietiekamu pieejamo kopiju skaitu problēmas gadījumā. Izrādās, ka nav nepieciešams glabāt visus datus visās replikās. Var samazināt slodzi uz glabāšanu, ja tur datu tikai daļā mezglu, bet traucējumu apstrādei izmantot speciālas noderīgas noderes (Transient Replica).

Ziņojuma gaitā mēs apskatīsim Witness Replicas, replikācijas shēma, kas tiek izmantota Spanner un Megastore, un šīs koncepcijas īstenojumu Apache Cassandra ar nosaukumu Transient Replication & Cheap Quorums.

Dmitrijs Vjukovs — Goroutines exposed

19 hydras galvas. Liels programmas apskats Dmitrijs — izstrādātājs uzņēmumā Google, kurš strādā pie dinamiskās testēšanas C/C++ un Go — Address/Memory/ThreadSanitizer, kā arī pie līdzīgiem rīkiem Linux kodolā. Viņš ir piedalījies Go mērogojamā gorutīnu plānotāja, tīkla pollera un paralēlā atkritumu savācēja izstrādē. Viņš ir daudzu jauno nebloķējošo algoritmu eksperts un īpašnieks. Melna josta Intel.

Tagad nedaudz par pašu ziņojumu. Valodā Go ir iebūvēta atbalsts daudzplūsmas veikšanai, izmantojot gorutīnas (vieglās pavedienus) un kanālus (FIFO rindas). Šo mehānismu dēļ lietotājiem ir ļoti viegli un patīkami rakstīt mūsdienīgas daudzplūsmas lietojumprogrammas, un tas izskatās kā maģija. Kā mēs saprotam, šeit nav nekādas maģijas. Šajā ziņojumā Dmitrijs iedziļinās Go plānotāja darbības smalkumos un parādīs šīs «maģijas» īstenošanas noslēpumus. Sākumā viņš sniegs pārskatu par galvenajiem plānotāja komponentiem un pastāstīs, kā tas darbojas. Pēc tam mēs tuvāk iepazīsimies ar atsevišķiem aspektiem, piemēram, stāvēšanas/unparking stratēģiju un bloķējošo sistēmas izsaukumu apstrādi. Visbeidzot, Dmitrijs nedaudz pastāstīs par iespējamajiem uzlabojumiem plānotājā.

Dmitrijs Bugačenko — Paātrinām sadalītu grafu analīzi, izmantojot probabilistiskos skičus un ne tikai

19 hydras galvas. Liels programmas apskats Dmitrijs gandrīz 9 gadus ir strādājis ārpakalpojumā, nezaudējot saikni ar universitāti un zinātnisko vidi. Lielo datu analīze uzņēmumā Odnoklassniki bija viņam unikāla iespēja apvienot teorētisko sagatavotību un zinātnisko pamatu ar reālu, pieprasītu produktu izstrādi.

Sadalītā grafu analīze joprojām ir sarežģīts uzdevums: kad ir nepieciešams iegūt informāciju par tuvā kaimiņa saitēm, datus bieži nākas pārsūtīt starp mašīnām, kas palielina izpildes laiku un slodzi uz tīkla infrastruktūru. Šajā ziņojumā mēs redzēsim, kā var iegūt nozīmīgu apstrādes paātrinājumu, izmantojot probabilistiskās datu struktūras vai faktus, piemēram, sociālo tīklu draudzības grafu simetriju. Viss tas tiek ilustrēts ar kodu piemēriem, izmantojot Apache Spark.

Deniss Rıscovs — Samaziniet uzglabāšanas izmaksas ar pagaidu replikāciju un lētiem kvorumiem

19 hydras galvas. Liels programmas apskats Deniss — izstrādātājs Cosmos DB, eksperts modeļu konsekvenču pārbaudē, konsensa algoritmos un izkliedētajās darījumu sistēmās. Šobrīd viņš strādā Microsoft, bet pirms tam darbojās izkliedētajās sistēmās Amazon un Yandex.

Šajā referātā mēs iepazīsimies ar pēdējo gadu laikā izstrādātajiem izkliedēto darījumu protokoliem, kurus iespējams realizēt klienta pusē virs jebkura datu krātuves, kas atbalsta nosacījuma atjaunināšanu (compare and set). Jautājums ir tāds, ka dzīve nebeidzas ar divfāžu apstiprināšanu; darījumus var pievienot virs jebkurām datu bāzēm — lietojumprogrammas līmenī, taču dažādiem protokoliem (2PC, Percolator, RAMP) ir dažādi kompromisi un to iegūšana nav bezmaksas.

Alexejs Zinovjevs — Ne visi ML algoritmi nonāk izkliedētajā paradīzē

19 hydras galvas. Liels programmas apskats Alexejs (zaleslaw) — mūsu ilgtermiņa runātājs un programmas komiteju locekļi citās konferencēs. Prakses treneris uzņēmumā EPAM Systems un ar Hadoop/Spark un citu lielo datu tehnoloģijām draudzējas kopš 2012. gada.

Šajā referātā Alexejs runās par klasisko mašīnmācīšanās algoritmu pielāgošanas problēmām izkliedētā režīmā, balstoties uz savu pieredzi darbā ar Apache Spark ML, Apache Mahout, Apache Flink ML un pieredzi Apache Ignite ML izstrādē. Tāpat Alexejs runās par izkliedēto ML algoritmu realizāciju šajos ietvaros.

Un noslēgumā — divi referāti no uzņēmuma Yandex par Yandex Database.

Vladislavs Kuzņecovs — Yandex Database — kā mēs nodrošinām uzticību

19 hydras galvas. Liels programmas apskats Vladislavs ir izstrādātājs Yandex izkliedētās platformas grupā. Yandex Database — horizontāli mērogojama ģeogrāfiski izkliedēta uzticama DBMS, kas spēj izturēt disku, serveru, skapju un datu centru atteices bez konsekvences pārtraukšanas. Lai nodrošinātu uzticību, tiek izmantots paša izstrādāts izkliedētā konsensa sasniegšanas algoritms, kā arī virkni tehnisku risinājumu, kas detalizēti apspriesti referātā. Referāts var būt interesants gan DBMS izstrādātājiem, gan attīstītājiem, kas strādā ar DBMS risinājumiem.

Semen Čečerinda — Izkliedētie darījumi YDB

19 hydras galvas. Liels programmas apskats Semen ir izstrādātājs Yandex izkliedētās platformas grupā, strādājot pie iespējas vairāku nomnieku izmantošanai YDB instalācijā.

Yandex Database ir paredzēta OLTP vaicājumiem un atbilst ACID prasībām darījumu sistēmai. Šajā ziņojumā aplūkosim darījumu plānošanas algoritmu, kas ir YDB darījumu sistēmas pamatā. Izpētīsim, kādi objekti piedalās darījumos, kurš piešķir darījumiem globālo secību, kā tiek nodrošināta darījumu atomaritāte, uzticamība un stingrs izolācijas līmenis. Piemērā ar izplatītu uzdevumu apskatīsim darījumu īstenojumus ar divfāžu komitēšanu un deterministiskajiem darījumiem. Apspriedīsim to atšķirības.

Kas tālāk?

Konferences programma turpina papildināties ar jaunām prezentācijām. Proti, mēs gaidām ziņojumu no Nikitas Kovala (ndkoval) no JetBrains un Olega Anastasjeva (ltalal) no kompānijas Odnoklassniki. Nikita nodarbojas ar algoritmiem korutinām Kotlin komandā, bet Oleg izstrādā arhitektūru un risinājumus augstas slodzes sistēmām uzņēmuma Odnoklassniki platformā. Turklāt ir vēl 1 nosacīti brīvs slots, ar kandidātiem, ar kuriem pašreiz strādā programmas komiteja.

Konference Hydra notiks 11.-12. jūlijā Sanktpēterburgā. Biļetes var iegādāties oficiālajā mājaslapā. Vēršam uzmanību uz Online biļetēm — ja jūs kaut kādā veidā nevarat klātienē doties uz Pēterburgu šajās dienās.

Tiksimies Hydra!

Avots: habr.com

Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem 🔥 Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem | ProHoster