19 tèt idwo. Gwo apèsi sou pwogram nan

Yon konferans pral fèt 11-12 Jiyè nan Saint Petersburg Idra, dedye a devlopman nan sistèm paralèl ak distribye. Trick Hydra a se ke li ini syantis fre (ki ka anjeneral jwenn sèlman nan konferans syantifik etranje) ak enjenyè pratike pi popilè nan yon sèl gwo pwogram nan entèseksyon syans ak pratik.

Hydra se youn nan konferans ki pi enpòtan nou yo nan dènye ane yo. Li te anvan pa preparasyon ki grav anpil, seleksyon oratè ak rapò. Semèn pase a sou sa habro entèvyou soti ak direktè JUG.ru Group, Alexey Fedorov (23derevo).

Nou deja di sou twa patisipan enpòtan, fondatè yo nan teyori a nan sistèm distribiye - Leslie Lamport, Maurice Herlihy ak Michael Scott. Li lè pou nou pale an plis detay sou tout pwogram nan!

19 tèt idwo. Gwo apèsi sou pwogram nan

Motivasyon

Si ou patisipe nan pwogramasyon, Lè sa a, yon fason oswa yon lòt ou ap fè fas ak multithreading ak distribye informatique. Ekspè nan domèn ki enpòtan yo travay avèk yo dirèkteman, men implicitement, distribisyon ap gade nou soti toupatou: nan nenpòt òdinatè milti-nwayo oswa sèvis distribiye gen yon bagay ki fè kalkil nan paralèl.

Gen anpil konferans ki kouvri divès aspè nan pwogram aplikasyon an. Nan lòt bò a nan spectre a, nou gen lekòl espesyalize syantifik ki revele gwo kantite teyori konplèks nan fòma konferans. Pou egzanp, nan paralèl ak Hydra nan Saint Petersburg gen Lekòl SPTDC. Nan konferans Hydra a, nou te eseye mete ansanm pratik piman bouk, syans, ak tout bagay nan entèseksyon yo.

Reflechi sou sa a: nou ap viv nan yon tan etonan lè ou ka rankontre an pèsòn fondatè yo nan domèn syans ak jeni ke nou etidye. Fizik yo p ap rankontre ni Newton ni Einstein - tren an te ale. Men, bò kote nou toujou ap viv moun ki te kreye fondasyon yo nan teyori a nan sistèm distribiye, envante langaj pwogramasyon popilè, ak pou premye fwa incorporée tout bagay sa a nan pwototip k ap travay. Moun sa yo pa t kite travay yo mwatye, yo ap travay kounye a sou pwoblèm ijan nan inivèsite ak konpayi ki renome nan lemonn, epi yo se pi gwo sous konesans ak eksperyans jodi a.

Nan lòt men an, opòtinite pou rankontre yo anjeneral rete piman teyorik: kèk nan nou ka toujou ap kontwole evènman piblik nan kèk University of Rochester, ak Lè sa a, prese nan USA a epi tounen pou yon konferans ak Michael Scott. Vizite tout manm Hydra ta koute yon ti fòtin, san konte gwo twou san fon an nan tan gaspiye (byenke li son tankou yon demand enteresan).

Nan lòt men an, nou gen anpil enjenyè tèt ki ap travay sou pwoblèm peze nan sistèm distribiye kounye a, epi yo definitivman gen anpil bagay yo di. Men, isit la nan pwoblèm nan - yo rabè, ak tan yo gen anpil valè. Wi, si ou se yon anplwaye nan Microsoft, Google oswa JetBrains, chans pou rankontre youn nan moun ki pale popilè yo nan yon evènman entèn ogmante sevè, men an jeneral, non, sa a pa rive chak jou.

Nan fason sa a, Konferans Hydra akonpli yon travay enpòtan ke pifò nan nou pa ka fè poukont nou - nan yon sèl kote ak nan yon sèl fwa, li pote ansanm moun ki gen lide oswa entèraksyon ak ki moun ki ka chanje lavi ou. Mwen admèt ke se pa tout moun ki bezwen sistèm distribye oswa kèk bagay fondamantal konplèks. Ou ka pwogram CRUDs nan PHP pou tout rès lavi ou epi rete konplètman kontan. Men, nenpòt moun ki bezwen li, sa a se chans ou.

Gen anpil tan pase depi premye anons konferans Hydra sou Habré. Pandan tan sa a, anpil travay te fèt - e kounye a, nou gen yon lis prèske tout rapò yo. Pa gen algoritm yon sèl-threaded paresseux, jis pi bon kalite distribiye Hardcore! Ann fini ak mo jeneral epi gade sa nou genyen sou men nou kounye a.

Keynotes

Diskisyon konmanse epi fini jou konferans lan. Anjeneral pwen nan yon diskou ouvèti se mete lespri jeneral la ak direksyon konferans lan. Konferans final la trase yon liy epi eksplike kijan nou ka viv ak konesans ak ladrès akeri pandan konferans la. Nan konmansman an ak nan fen a: sa ki sonje pi byen, ak an jeneral, te ogmante siyifikasyon.

Cliff Klike H2O distribiye algorithm K/V

19 tèt idwo. Gwo apèsi sou pwogram nan Cliff se yon lejand nan mond lan Java. Nan fen ane 90 yo, pou tèz doktora li, li te ekri yon papye ki gen tit "Konbine analiz, konbine optimize", ki kèk tan pita te vin baz pou HotSpot JVM Server Compiler. Dezan apre, li te deja travay nan Sun Microsystems sou JVM a epi li te montre lemonn antye ke JIT gen dwa egziste. Tout istwa sa a sou fason Java se youn nan pi rapid ègzekutabl modèn yo ak optimize ki pi entelijan ak pi rapid soti nan Cliff Click. Nan kòmansman an anpil, yo te kwè ke si yon bagay aksesib a yon du estatik, ou pa menm gen pou eseye jit li. Mèsi a travay Cliff ak ekip la, tout nouvo lang yo te kòmanse kreye ak lide nan konpilasyon JIT pa default. Natirèlman, sa a pa t 'yon travay yon sèl moun, men Cliff te jwe yon wòl trè enpòtan nan li.

Nan diskou ouvèti a, Cliff pral pale sou lòt efò li - H20, yon platfòm nan memwa pou distribye ak évolutive aprantisaj machin pou aplikasyon endistriyèl. Oswa plis jisteman, sou depo a distribye nan pè kle-valè andedan li. Sa a se yon depo trè vit ak yon anpil nan pwopriyete enteresan (lis la egzak se nan deskripsyon), ki pèmèt itilizasyon solisyon menm jan an nan matematik gwo difizyon done.

Yon lòt rapò ke Cliff pral bay se - Eksperyans nan Memwa Tranzaksyon Materyèl Azul. Yon lòt pati nan biyografi li - dis ane travay nan Azul, kote li mete ajou ak amelyore anpil bagay nan pyès ki nan konpitè ak pile teknoloji Azul: konpilateur JIT, ègzekutabl, modèl fil, manyen erè, manyen pil, entèwonp pyès ki nan konpitè, chaj klas, ak sou sa ak sou sa - byen, ou jwenn la lide.

Pati ki pi enteresan an te kòmanse lè yo te fè pyès ki nan konpitè pou yon gwo biznis - yon supercomputer pou kouri Java. Se te yon bagay olye inovatè, pwepare espesyalman pou Java, ki gen kondisyon espesyal - li baryè memwa pou koleksyon fatra ki ba-poz, etalaj ak limit tcheke, apèl vityèl... Youn nan teknoloji ki pi fre se memwa tranzaksyon pyès ki nan konpitè. Tout L1 nan nenpòt nan 864 nwayo yo ka patisipe nan ekri tranzaksyon, ki se espesyalman enpòtan pou travay ak kadna nan Java (blòk senkronize ka travay nan paralèl osi lontan ke pa gen okenn konfli memwa reyèl). Men, bèl lide a te kraze pa reyalite piman bouk - ak nan diskou sa a Cliff pral di w poukisa HTM ak STM yo pa trè byen adapte pou bezwen yo pratik nan milti-threaded informatique.

Michael Scott - Estrikti done doub

19 tèt idwo. Gwo apèsi sou pwogram nan Michael Scott - Pwofesè nan Syans enfòmatik nan University of Rochester, ak ki moun sò te konekte li deja gen 34 an, ak lakay li University of Wisconsin-Madison, li te dwayen pou senk ane. Li fè rechèch ak anseye elèv yo sou pwogramasyon paralèl ak distribye ak konsepsyon langaj.

Lemonn antye konnen Michael gras ak liv la "Pragmatik langaj pwogramasyon", dènye edisyon an ki te pibliye relativman dènyèman - nan 2015. Travay li "Algoritm pou senkronizasyon évolutive sou multiprosesè memwa pataje" te resevwa Dijkstra Prize kòm youn nan pi popilè nan domèn distribye informatique ak bay manti ouvètman nan University of Rochester Online Library. Ou ka konnen tou li kòm otè a nan algorithm nan Michael-Scott anpil soti nan "Senp, vit, ak pratik ki pa bloke ak bloke Algorithm keu konkouran".

Kòm pou mond lan Java, sa a se yon ka espesyal: ansanm ak Doug Lea, li devlope algoritm yo ki pa bloke ak ke moun kap kriye synchrone sou ki Java bibliyotèk travay. Sa a se egzakteman sa "Estrikti done doub" yo pral sou - entwodiksyon estrikti sa yo nan Java SE 6 te amelyore pèfòmans pa 10 fwa. java.util.concurrent.ThreadPoolExecutor. Si w ap mande davans ki sa "Estrikti done Doub" sa yo ye, Lè sa a, gen enfòmasyon sou li travay ki gen rapò.

Maurice Herlihy - Blockchains ak avni distribye informatique

19 tèt idwo. Gwo apèsi sou pwogram nan Maurice Herlihy - gayan de pri Dijkstra. Premye a se pou travay sou "Tann-gratis senkronizasyon" (Brown University), ak dezyèm lan, ki pi resan - "Memwa tranzaksyon: Sipò achitekti pou estrikti done ki pa fèmen yo" (Virginia Tech University). Pri Dijkstra a rekonèt travay ki gen siyifikasyon ak enpak yo te vizib pou omwen dis ane, e Maurice se klèman youn nan ekspè ki pi renome nan domèn nan. Kounye a li travay kòm pwofesè nan Brown University e li gen yon lis reyalizasyon ki gen anpil paragraf.

Nan diskou final sa a, Maurice pral pale sou teyori ak pratik sistèm distribiye blockchain nan pwen de vi klasik enfòmatik distribiye ak fason li senplifye anpil pwoblèm ki gen rapò. Sa a se yon rapò sèlman sou sijè konferans lan - pa ditou sou battage min, men pito sou fason konesans nou yo ka itilize etonan efektivman ak apwopriye nan relasyon ak yon varyete de travay.

An jiyè 2017, Maurice te deja vini nan Larisi pou ale nan lekòl SPTDC, te patisipe nan rankont JUG.ru a, epi yo ka wè anrejistreman an sou YouTube:

Pwogram prensipal la

Apre sa, pral gen yon ti apèsi sou rapò ki enkli nan pwogram nan. Gen kèk nan rapò yo dekri isit la an detay, lòt moun ki pi kout. Deskripsyon long yo te ale sitou nan rapò an lang angle ki te mande lyen ki mennen nan papye syantifik, tèm sou Wikipedya, ak sou sa. Lis konplè a disponib gade sou sit entènèt konferans lan. Lis la sou sit entènèt la pral mete ajou ak konplete.

Leslie Lampport - K & A.

19 tèt idwo. Gwo apèsi sou pwogram nan Leslie Lamport se otè zèv fondamantal nan distribye informatique. "LaTeX" kanpe pou "Lamport TeX". Se li menm ki premye, tounen nan 1979, prezante konsèp la konsistans konsistan, ak atik li a "Kijan pou fè yon òdinatè miltipwosesè ki kòrèkteman egzekite pwogram miltipwosesis yo" te resevwa Pri Dijkstra.

Sa a se pati ki pi etranj nan pwogram nan an tèm de fòma, paske li se pa menm yon rapò, men se yon kesyon ak repons sesyon. Lè yon pati enpòtan nan odyans lan deja abitye (oswa ka vin abitye) ak tout kalite travay ki baze sou "teyori Lampport a", pwòp atik li yo ak rapò, li pi enpòtan pou pase tout tan ki disponib nan kominikasyon dirèk.

Lide a se senp - ou gade de rapò sou YouTube: "Programmasyon ta dwe plis pase kodaj" и "Si w pa ekri yon pwogram, pa sèvi ak yon langaj pwogramasyon" epi prepare omwen yon kesyon, epi Leslie reponn.

Premye nan de videyo sa yo nou genyen deja tounen yon atik habro. Si ou pa gen yon èdtan nan tan pou gade videyo a, ou ka byen vit li tout nan fòm tèks.

Nòt: Genyen anpil plis videyo Leslie Lampport sou YouTube. Pou egzanp, gen yon ekselan TLA+ kou. Yon vèsyon offline tout kou sa a disponib nan paj lakay otè a, epi li telechaje li sou YouTube pou w ka gade l pi fasil sou aparèy mobil.

Martin Kleppmann - Senkronize done atravè aparèy itilizatè yo pou kolaborasyon distribye

19 tèt idwo. Gwo apèsi sou pwogram nan Martin Kleppmann se yon chèchè nan University of Cambridge k ap travay sou CRDT ak verifikasyon fòmèl algoritm yo. liv Martin la "Desine aplikasyon pou done entansif", pibliye an 2017, te pwouve yo gen anpil siksè e li te fè li sou lis vandu nan domèn depo done ak pwosesis. Kevin Scott, CTO nan Microsoft, yon fwa te di: "Liv sa a ta dwe yon bagay ki dwe genyen pou enjenyè lojisyèl. Sa a se yon resous ki ra ki konbine teyori ak pratik pou ede devlopè yo pi entelijan nan konsepsyon ak mete ann aplikasyon enfrastrikti ak sistèm done.” Kreyatè Kafka ak CTO nan Confluent, Jay Kreps, te di yon bagay ki sanble.

Anvan li te deplase nan rechèch akademik, Martin te travay nan endistri ak ko-fonde de kòmansman siksè:

  • Rapòtè, dedye a montre pwofil sosyal kontak nan imel ou a, ki LinkedIn te achte nan 2012;
  • Go Test It, yon sèvis pou teste otomatikman sit entènèt nan plizyè navigatè, RedGate te achte an 2009.

An jeneral, Martin, byenke mwens popilè pase diskou nou yo, te deja kapab fè kèk kontribisyon nan devlopman nan distribye informatique ak nan endistri a.

Nan diskou sa a, Martin pral pale sou yon sijè ki pi pre rechèch akademik li. Nan Google Docs ak sofa ko-edisyon dokiman menm jan an, "kolaborasyon koreksyon" refere a yon travay replikasyon: chak itilizatè gen pwòp kopi dokiman pataje a, ke yo modifye, epi yo voye tout chanjman atravè rezo a nan rès la. patisipan yo. Chanjman nan dokiman offline mennen nan enkonsistans tanporè nan dokiman an an relasyon ak lòt patisipan yo, epi re-synchronization mande pou jere konfli. Se egzakteman sa yo egziste pou Kalite done replike san konfli (CRDT), an reyalite, se yon bagay jistis nouvo, sans nan ki te formul sèlman nan 2011. Diskou sa a diskite sou sa ki te pase depi lè sa a nan mond CRDT a, ki sa ki pi resan pwogrè yo ye, apwòch pou kreye aplikasyon lokal yo an jeneral ak itilizasyon yon bibliyotèk sous louvri. Automerge an patikilye.

Semèn pwochèn nou pral pibliye yon entèvyou long ak Martin sou Habré, li pral enteresan.

Pedro Ramalhete - Estrikti done san rete tann ak tranzaksyon san rete tann

19 tèt idwo. Gwo apèsi sou pwogram nan Pedro ap travay nan Cisco e li te devlope algoritm paralèl pou dis dènye ane yo oswa konsa, ki gen ladan mekanis senkronizasyon, estrikti done ki pa fèmen ak tann-gratis ak tout sa ou ka imajine sou sijè sa a. Enterè rechèch ak jeni aktyèl li yo konsantre sou konstriksyon inivèsèl, memwa tranzaksyon lojisyèl, memwa pèsistan ak teknoloji menm jan an ki pèmèt aplikasyon ki kòrèk, évolutif ak toleran defo. Li se tou otè a nan yon blog lajman li te ye nan ti sèk etwat Freaks konkou.

Pifò aplikasyon multithreaded kounye a kouri sou estrikti done paralèl, ki soti nan itilizasyon ke moun kap kriye mesaj ant aktè rive nan estrikti done endis nan magazen kle-valè. Yo te travay avèk siksè nan Java JDK pou plizyè ane, epi yo tou dousman ap ajoute nan C++.

Fason ki pi senp pou aplike yon estrikti done paralèl se yon aplikasyon sekans (yon sèl-threaded) kote metòd yo pwoteje pa mutex. Sa a se aksesib a nenpòt ki jen, men li gen pwoblèm evidan ak dekale ak pèfòmans. An menm tan an, estrikti done ki pa fèmen ak tann san yo pa sèlman fè fas pi byen ak erè, men tou gen yon pi bon pwofil pèfòmans - sepandan, devlopman yo mande pou ekspètiz pwofon ak adaptasyon nan yon aplikasyon espesifik. Yon move liy kòd se ase pou kraze tout bagay.

Ki jan nou ka fè li pou menm yon moun ki pa ekspè ka konsepsyon ak aplike estrikti done sa yo? Li konnen ke nenpòt algorithm sekans ka fè fil san danje lè l sèvi avèk swa konsepsyon inivèsèl, oswa memwa tranzaksyon. Pou yon sèl bagay, yo ka bese baryè a antre nan rezoud pwoblèm sa a. Sepandan, tou de solisyon tipikman mennen nan aplikasyon efikas. Pedro pral pale sou fason yo jere yo fè desen sa yo pi efikas ak ki jan ou ka itilize yo pou algoritm ou yo.

Heidi Howard - Liberasyon distribiye konsansis

19 tèt idwo. Gwo apèsi sou pwogram nan Heidi Howard se, tankou Martin, yon chèchè sistèm distribiye nan University of Cambridge. Espesyalite li yo se konsistans, tolerans fòt, pèfòmans ak konsansis distribiye. Li se pi byen li te ye pou jeneralizasyon li nan algorithm Paxos yo rele Paxos fleksib.

Sonje byen Paxos se yon fanmi pwotokòl pou rezoud pwoblèm konsansis nan yon rezo òdinatè ki pa gen konfyans, ki baze sou travay Leslie Lamport. Kidonk, kèk nan oratè nou yo ap travay sou travay ki te pwopoze orijinal pa lòt oratè nou yo - e sa a se bèl bagay.

Kapasite pou jwenn konsansis pami plizyè lame-pou adrese, eleksyon lidè, bloke, oswa kowòdinasyon-se yon pwoblèm fondamantal nan sistèm modèn distribiye. Paxos se kounye a yon fason prensipal yo rezoud pwoblèm konsansis, e gen yon anpil nan rechèch k ap fèt alantou li elaji ak optimize algorithm la pou divès bezwen pratik.

Nan diskou sa a, nou pral revize baz teyorik Paxos, ap detann kondisyon orijinal yo ak jeneralize algorithm la. Nou pral wè ke Paxos se esansyèlman jis yon opsyon nan mitan yon seri gwo apwòch konsansis, e ke lòt pwen sou spectre yo tou trè itil pou bati bon sistèm distribye.

Alex Petrov - Diminye depans depo w yo ak Replication Transient ak Kowòm bon mache

19 tèt idwo. Gwo apèsi sou pwogram nan Alex se yon espesyalis baz done ak sistèm depo, epi pi enpòtan pou nou, yon komitè nan Cassandra. Kounye a li ap travay sou yon liv, Database Internals, ak O'Reilly.

Pou sistèm ak evantyèlman konsistans (nan tèminoloji Ris - "konsistans final"), apre yon ne aksidan oswa yon fann rezo, ou bezwen rezoud dilèm sa a: swa kontinye egzekite demann, sakrifye konsistans, oswa refize egzekite yo ak sakrifye disponiblite. Nan yon sistèm konsa, kowòm, sipèpoze sou-ansanm nan nœuds ak asire ke omwen yon nœuds gen valè ki pi resan, kapab yon solisyon kwen bon. Ou ka siviv echèk ak pèt koneksyon ak kèk nœuds pandan y ap toujou reponn ak dènye valè yo.

Sepandan, tout bagay gen pri li yo. Yon konplo replikasyon kowòm vle di ogmante depans depo: done redondants yo dwe estoke sou plizyè nœuds alafwa pou asire ke gen ase kopi ki disponib lè yon pwoblèm rive. Li sanble ke ou pa bezwen estoke tout done yo sou tout kopi yo. Ou ka diminye chaj la sou depo a si ou estoke done sèlman sou yon pati nan nœuds yo, epi itilize nœuds espesyal (Transient Replica) pou senaryo manyen echèk.

Pandan rapò a nou pral konsidere Replik Temwen, konplo replikasyon yo itilize nan Spanner и mega magazen, ak aplikasyon an nan konsèp sa a nan Apache Cassandra rele Replikasyon pasajè ak kowòm bon mache.

Dmitri Vyukov - Goroutines ekspoze

19 tèt idwo. Gwo apèsi sou pwogram nan Dmitry se yon pwomotè nan Google k ap travay sou tès dinamik pou C/C++ ak Go - Address/Memory/ThreadSanitizer, ak zouti menm jan an pou nwayo Linux la. Kontribye nan Go yon pwogramasyon goroutine ki kapab chanje, yon biwo vòt rezo, ak yon pèseptè fatra paralèl. Li se yon ekspè nan multithreading, otè a nan yon douzèn nouvo algoritm ki pa bloke epi li se pwopriyetè a nan Belt nwa Intel

Koulye a, yon ti kras sou rapò a tèt li. Lang Go a gen sipò natif natal pou multithreading nan fòm lan nan goroutines (fil limyè) ak chanèl (FiFO keu). Mekanis sa yo fè li trè fasil ak agreyab pou itilizatè yo ekri aplikasyon modèn milti-threaded, epi li sanble majik. Kòm nou konprann, pa gen okenn maji isit la. Nan diskou sa a, Dmitry pral fouye nan sibtilite yo nan orè Go a epi montre sekrè yo nan aplikasyon sa a "majik". Premyèman, li pral bay yon apèsi sou eleman prensipal yo nan orè a epi di w kouman li fonksyone. Apre sa, nou pral pran yon gade pi pre nan aspè endividyèl yo tankou estrateji nan pakin / unparking ak manyen apèl sistèm bloke. Finalman, Dmitry pral pale yon ti kras sou amelyorasyon posib nan orè a.

Dmitry Bugaichenko - Akselere analiz distribiye graf ak desen pwobabilite ak plis ankò

19 tèt idwo. Gwo apèsi sou pwogram nan Dmitry te travay nan tretans pou prèske ane 9 san yo pa pèdi kontak ak inivèsite a ak kominote syantifik la. Gwo analiz done nan Odnoklassniki te vin pou l 'yon chans inik nan konbine fòmasyon teyorik ak fondasyon syantifik ak devlopman nan pwodwi reyèl, nan demann.

Analiz graf distribiye te e li rete yon travay difisil: lè li vin nesesè pou jwenn enfòmasyon sou koneksyon yo nan yon somè vwazen, done yo souvan gen yo dwe transfere ant machin, ki mennen nan ogmante tan ekzekisyon ak chaj sou enfrastrikti rezo a. Nan diskou sa a, nou pral wè ki jan ou ka jwenn gwo vitès pwosesis lè w itilize estrikti done pwobabilite oswa reyalite tankou simetri graf amitye a nan yon rezo sosyal. Tout bagay sa a ilistre ak egzanp kòd nan Apache Spark.

Denis Rystsov - Diminye depans depo w yo ak Replication Transient ak Kowòm bon mache

19 tèt idwo. Gwo apèsi sou pwogram nan Denis - pwomotè Cosmos DB, yon ekspè nan tcheke modèl konsistans, algoritm konsansis, ak tranzaksyon distribye. Kounye a li travay nan Microsoft, e anvan sa li te travay sou sistèm distribiye nan Amazon ak Yandex.

Nan diskou sa a, nou pral pran yon gade nan pwotokòl tranzaksyon distribye ki te envante pandan kèk ane ki sot pase yo, ki ka aplike sou bò kliyan an sou tèt nenpòt magazen done ki sipòte aktyalizasyon kondisyonèl (konpare ak mete). Liy anba a se ke lavi pa fini ak yon komèt de-faz, tranzaksyon yo ka ajoute sou tèt nenpòt baz done - nan nivo aplikasyon an, men pwotokòl diferan (2PC, Percolator, RAMP) gen konpwomi diferan epi yo pa ba nou. pou gratis.

Alexey Zinoviev - Se pa tout algoritm ML fè li nan syèl la distribye

19 tèt idwo. Gwo apèsi sou pwogram nan Alexei (zaleslaw) se yon oratè depi lontan ak manm nan komite pwogram nan lòt konferans. Antrenè pratike nan EPAM Systems, e li te zanmi Hadoop/Spark ak lòt gwo done depi 2012.

Nan diskou sa a, Alexey pral pale sou pwoblèm ki genyen nan adapte algoritm aprantisaj machin klasik pou egzekisyon nan mòd distribiye ki baze sou eksperyans li ap travay ak Apache Spark ML, Apache Mahout, Apache Flink ML ak eksperyans nan kreye Apache Ignite ML. Alexey pral pale tou sou aplikasyon distribiye algoritm ML nan kad sa yo.

Epi finalman, de rapò ki soti nan Yandex sou Yandex Database.

Vladislav Kuznetsov - Yandex Database - ki jan nou asire tolerans fòt

19 tèt idwo. Gwo apèsi sou pwogram nan Vladislav se yon pwomotè nan Yandex nan gwoup platfòm distribiye. Yandex Database se yon DBMS orizontal évolutive, geo-distribiye, toleran fay ki ka kenbe tèt ak echèk nan disk, sèvè, manto ak sant done san yo pa pèdi konsistans. Pou asire tolerans fòt, yo itilize yon algorithm propriétaires pou reyalize konsansis distribiye, osi byen ke yon kantite solisyon teknik, ki diskite an detay nan rapò a. Rapò a ka enterese tou de devlopè DBMS ak devlopè solisyon aplikasyon ki baze sou DBMS.

Semyon Checherinda - Tranzaksyon distribye nan YDB

19 tèt idwo. Gwo apèsi sou pwogram nan Semyon se yon pwomotè nan gwoup platfòm distribye Yandex, k ap travay sou posibilite pou plizyè lokatè itilize enstalasyon YDB.

Yandex Database fèt pou demann OLTP epi li konfòme ak kondisyon ACID pou yon sistèm tranzaksyon. Nan rapò sa a, nou pral konsidere algorithm orè tranzaksyon an ki kache sistèm tranzaksyon YDB. Ann gade nan ki antite ki patisipe nan tranzaksyon yo, ki moun ki bay lòd mondyal nan tranzaksyon yo, ki jan atomite tranzaksyon, fyab, ak yon nivo strik nan izolasyon yo reyalize. Sèvi ak yon pwoblèm komen kòm yon egzanp, an n gade nan aplikasyon tranzaksyon lè l sèvi avèk de-faz komite ak tranzaksyon detèminist. Ann diskite sou diferans yo.

Ki sa ki nan pwochen?

Pwogram konferans lan kontinye ap ranpli ak nouvo rapò. An patikilye, nou espere yon rapò de Nikita Koval (ndkoval) soti nan JetBrains ak Oleg Anastasyev (m0nstermind) soti nan konpayi an Odnoklassniki. Nikita travay sou algoritm pou coroutines nan ekip Kotlin, ak Oleg devlope achitekti ak solisyon pou sistèm chaj segondè nan platfòm Odnoklassniki. Anplis de sa, gen 1 plis plas vid kondisyonèl, komite pwogram nan ap travay ak kandida pou li kounye a.

Konferans Hydra a pral fèt 11-12 Jiyè nan Saint Petersburg. Tikè yo disponib achte sou sit entènèt ofisyèl la. Tanpri peye atansyon sou disponiblite tikè sou Entènèt - si pou kèk rezon ou pa ka ale nan Saint Petersburg jou sa yo.

Na wè nan Hydra!

Sous: www.habr.com

Add nouvo kòmantè