19 serê hîdro. Awirek mezin a bernameyê

Di 11-12’ê Tîrmehê de li St Hydra, ji bo pêşveçûna pergalên paralel û belavkirî ve girêdayî ye. Xetereya Hydra ev e ku ew zanyarên hêja (yên ku bi gelemperî tenê di konferansên zanistî yên biyanî de têne dîtin) û endezyarên pispor ên navdar di yek bernameyek mezin de li hevberdana zanist û pratîkê yek dike.

Hydra di van çend salên dawî de yek ji konferansên me yên herî girîng e. Berî wê amadekarî, hilbijartina axaftvan û raporan pir cidî bû. Hefteya borî li ser vê yekê hevpeyvîna habro derket bi derhênerê Koma JUG.ru, Alexey Fedorov (23derevo).

Em in berê gotiye li ser sê beşdarên girîng, damezrînerên teoriya pergalên belavbûyî - Leslie Lamport, Maurice Herlihy û Michael Scott. Wext e ku meriv bi hûrgulî li ser tevaya bernameyê biaxive!

19 serê hîdro. Awirek mezin a bernameyê

Motivation

Ger hûn bi bernamekirinê re têkildar in, wê hingê hûn bi yek awayê an rêgezek din bi berhevoka pirtirs û belavkirî re mijûl dibin. Pisporên di warên têkildar de rasterast bi wan re dixebitin, lê bi nepenî, belavkirin ji her derê li me dinihêre: di her komputerek pir-core an karûbarek belavkirî de tiştek heye ku hesabên paralel pêk tîne.

Gelek konferans hene ku cûrbecûr aliyên bernameya serîlêdanê vedigirin. Li aliyê din ê spekulê, me dibistanên zanistî yên pispor hene ku di forma dersê de gelek teoriya tevlihev eşkere dikin. Ji bo nimûne, paralel bi Hydra li St dibistana SPTDC. Di konferansa Hydra de, me hewl da ku em pratîka hişk, zanist û her tiştê ku di çarçoveyek wan de ye, bînin cem hev.

Li ser vê yekê bifikirin: em di demek ecêb de dijîn ku hûn dikarin bi kesane bi damezrînerên qada zanist û endezyariyê ya ku em dixwînin bibînin. Fîzîknas dê Newton û Einstein nebînin - trên çû. Lê li kêleka me hê jî yên ku bingehên teoriya pergalên belavbûyî afirandine, zimanên bernamesaziyê yên gelêrî îcad kirine û cara yekem van hemûyan di prototîpên xebatê de pêk anîne dijîn. Van kesan karê xwe nîvco nehiştin, niha li zanîngeh û kompanyayên navdar ên cîhanê li ser mijarên giran dixebitin û îro mezintirîn jêderên zanîn û ezmûnê ne.

Ji hêla din ve, fersenda hevdîtina wan bi gelemperî bi tevahî teorîkî dimîne: hindik ji me dikarin bi berdewamî bûyerên giştî li hin Zanîngeha Rochester bişopînin, û dûv re bilezînin Dewletên Yekbûyî û ji bo dersekê bi Michael Scott re vegerin. Serdana hemî endamên Hydra-yê dê dewlemendiyek piçûk lêçûn, bêyî ku bêhna dema wendakirinê were hesibandin (her çend ew wekî lêgerînek balkêş xuya dike).

Ji hêla din ve, me gelek endezyarên jorîn hene ku niha li ser pirsgirêkên zextê yên di pergalên belavbûyî de dixebitin, û bê guman gelek tişt hene ku bibêjin. Lê pirsgirêk li vir e - ew karют, û dema wan hêja ye. Erê, heke hûn karmendek Microsoft, Google an JetBrains in, îhtîmala hevdîtina yek ji axaftvanên navdar di bûyerek navxweyî de pir zêde dibe, lê bi gelemperî, na, ev her roj çênabe.

Bi vî rengî, Konferansa Hydra peywirek girîng pêk tîne ku piraniya me nekarin bi serê xwe bikin - li yek cîh û yek carî, ew mirovên ku raman an danûstendinên bi wan re dikarin jiyana we biguhezînin berhev dike. Ez qebûl dikim ku ne her kes hewceyê pergalên belavkirî an hin tiştên bingehîn ên tevlihev e. Hûn dikarin CRUD di PHP-ê de heya dawiya jiyana xwe bername bikin û bi tevahî bextewar bimînin. Lê kê hewce dike, ev şansê we ye.

Ji ragihandina yekem a konferansa Hydra ya li ser Habré re demek pir dirêj derbas bû. Di vê demê de, gelek xebat hatine kirin - û naha navnîşek hema hema hemî raporên me hene. Tu algorîtmayên yek-têlekê yên sist tune, tenê hişkiya safî ya belavkirî! Ka em bi peyvên giştî biqedînin û bibînin ka niha çi di destê me de ye.

Keynotes

Rojên konferansê dest pê dikin û bi dawî dibin. Bi gelemperî xala sereke ya vekirinê ew e ku ruhê giştî û rêwerziya konferansê saz bike. Gotara girtina xêzek xêz dike û rave dike ku em çawa dikarin bi zanîn û jêhatîyên ku di konferansê de hatine bidestxistin bijîn. Destpêk û dawî: tiştê ku herî baş tê bîranîn, û bi gelemperî, girîngiya xwe zêde kiriye.

Cliff Click H2O algorîtmaya K/V belav kir

19 serê hîdro. Awirek mezin a bernameyê Cliff di cîhana Java de efsane ye. Di dawiya salên 90'î de, ji bo teza xwe ya doktorayê, wî gotarek bi navê nivîsand "Tevhevkirina Analîz, Tevhevkirina Optimîzasyonan", ku demek şûnda bû bingeha HotSpot JVM Server Compiler. Du sal şûnda, ew jixwe li Sun Microsystems li ser JVM-ê dixebitî û ji hemî cîhanê re nîşan da ku JIT mafê hebûna xwe heye. Tevahiya vê çîrokê li ser ka çawa Java yek ji zûtirîn demjimêrên nûjen e ku bi xweştirîn û bileztirîn xweşbîn e ji Cliff Click derket. Di destpêkê de, dihat bawer kirin ku heke tiştek ji berhevkerek statîk re bigihîje, ne hewce ye ku hûn jî hewl bidin ku wê jit bikin. Bi saya xebata Cliff û tîmê, hemî zimanên nû bi ramana berhevkirina JIT-ê ji hêla xwerû ve hatin afirandin. Bê guman, ev ne karekî yek kesî bû, lê Cliff tê de rolek pir girîng lîst.

Di destpêka sereke de, Cliff dê li ser hewildana xwe ya din biaxive - H20, platformek nav-bîrê ji bo fêrbûna makîneya belavkirî û berbelav ji bo sepanên pîşesaziyê. An jî rasttir, di derbarê hilanîna dabeşkirî ya cotên key-nirxê di hundurê wê de. Ev hilanînek pir bilez e ku xwedan taybetmendiyên balkêş e (lîsteya rastîn tê de ye terîf), ku di matematîka weşana daneya mezin de destûrê dide karanîna çareseriyên wekhev.

Raporek din a ku Cliff dê bide ev e - Tecrûbeya Bîra Veguhastina Hardware ya Azul. Beşek din ji jînenîgariya wî - deh sal li Azul dixebitin, li cihê ku wî di stûna hardware û teknolojiyê ya Azul de gelek tişt nûve kirin û çêtir kirin: Berhevkerên JIT, dema xebitandinê, modela mijarê, rêvekirina xeletiyê, hilgirtina stikê, qutkirinên hardware, barkirina polê, û hwd û hwd. fikir.

Beşa herî balkêş dema ku wan hardware ji bo karsaziyek mezin çêkir - superkomputerek ku Java-yê dimeşîne dest pê kir. Ew tiştek pir nûjen bû, ku bi taybetî ji bo Java-yê hatî çêkirin, ku hewcedariyên wê yên taybetî hene - xwendin astengên bîranînê ji bo berhevkirina çopê ya kêm-rawestan, rêzikên bi kontrolkirina sînoran, bangên virtual... Yek ji teknolojiyên herî xweş hafizeya danûstendinê ya hardware ye. Tevahiya L1 ya her yek ji 864 core dikare beşdarî nivîsandina danûstendinê bibe, ku bi taybetî ji bo xebata bi kilîdên li Java-yê girîng e (blokên hevdemkirî dikarin paralel bixebitin heya ku pevçûnek bîranîna rastîn tune be). Lê ramana bedew ji hêla rastiya dijwar ve hate pelçiqandin - û di vê axaftinê de Cliff dê ji we re vebêje ka çima HTM û STM ​​ji bo hewcedariyên pratîkî yên hesabkirina pir-tehsî ne pir xweş in.

Michael Scott - Avahiyên daneyên dualî

19 serê hîdro. Awirek mezin a bernameyê Michael Scott - Profesorê Zanistiya Kompîturê li zanîngeha Rochester, ku qedera wî bi wî ve girêda jixwe 34 salî ye, û li zanîngeha mala xwe ya Wisconsin–Madison, ew pênc salan dekan bû. Ew li ser bernamesaziya paralel û belavbûyî û sêwirana zimanî lêkolîn dike û xwendekaran hîn dike.

Hemû cîhan Michael bi saya pirtûkê nas dike "Pragmatîka Zimanê Bernameyê", çapa herî dawî ya ku bi nisbeten vê dawiyê hate weşandin - di 2015 de. Karê wî "Algorîtmayên ji bo hevdengkirina berbelav li ser multiprosesorên bîranîna hevpar" stendin Xelata Dijkstra wek yek ji navdartirîn di warê computing belavkirin û eşkere derewan dike li Pirtûkxaneya Serhêl a Zanîngeha Rochester. Hûn dikarin wî jî wekî nivîskarê algorîtmaya pir Michael-Scott ji nas bikin "Algorîtmayên Dora Hevdem Ne Astengkirin û Astengkirin û Astengkirin, Bilez û Pratîk".

Di derbarê cîhana Java de, ev rewşek taybetî ye: ligel Doug Lea, wî algorîtmayên ne-asteng û rêzikên hevdem ên ku pirtûkxaneyên Java li ser dixebitin pêşve xistin. Ya ku dê "Strukturên daneya dualî" li ser be ev e - danasîna van avahiyan di Java SE 6 de 10 carî performans çêtir kiriye. java.util.concurrent.ThreadPoolExecutor. Ger hûn ji berê de meraq dikin ka ev "avahiyên daneya Dualî" çi ne, wê hingê agahdarî li ser wê heye karê têkildar.

Maurice Herlihy - Blockchains û paşeroja komputera belavkirî

19 serê hîdro. Awirek mezin a bernameyê Maurice Herlihy - wergirê du Xelatên Dijkstra. Ya yekem ji bo xebatê ye "Senkronîzasyona Bê-Li bendê" (Zanîngeha Brown), û ya duyemîn, nûtirîn - "Bîra Veguheztinê: Piştgiriya Mîmarî Ji Bo Strukturên Daneyên Bê Qefle" (Zanîngeha Teknîkî ya Virginia). Xelata Dijkstra xebata ku girîngî û bandora wan bi kêmî ve deh salan xuya ye nas dike, û Maurice eşkere yek ji pisporên herî navdar e di vî warî de. Ew niha li Zanîngeha Brown wekî profesor dixebite û navnîşek destkeftiyên dirêj-paragraf heye.

Di vê xala sereke ya girtina de, Maurice dê li ser teorî û pratîka pergalên belavkirî yên zincîra blokê ji nihêrîna klasîkên hesabkirina belavbûyî biaxive û ew çawa gelek pirsgirêkên têkildar hêsan dike. Ev raporek bi taybetî li ser mijara konferansê ye - ne li ser hîpertansiyonên madenê, lê ji ber vê yekê li ser wê yekê ku zanîna me çawa dikare di warê cûrbecûr karan de ecêb bi bandor û guncan were bikar anîn.

Di Tîrmeha 2017 de, Maurice berê xwe da Rûsyayê da ku beşdarî dibistana SPTDC bibe, beşdarî civîna JUG.ru bû, û tomar dikare li ser YouTube were dîtin:

Bernameya sereke

Piştre li ser raporên ku di bernameyê de cih digirin dê kurte nêrînek were kirin. Hin rapor li vir bi berfirehî têne vegotin, yên din jî bi kurtî. Danasînên dirêj bi giranî diçûn raporên bi zimanê îngilîzî yên ku hewceyê girêdanên bi kaxezên zanistî, şertên li ser Wîkîpediya, û hwd. Lîsteya tevahî heye li ser malpera konferansê bibînin. Lîsteya li ser malperê dê were nûkirin û zêdekirin.

Leslie Lamport - Q & A

19 serê hîdro. Awirek mezin a bernameyê Leslie Lamport nivîskarê xebatên bingehîn ên di berhevoka belavbûyî de ye. "LaTeX" tê wateya "Lamport TeX". Ew bû ku yekem, di sala 1979-an de, ev têgeh destnîşan kir lihevhatina hevgirtî, û gotara wî "Meriv çawa Kompîterek Pir Prosesor ku Bi Rastî Bernameyên Pir Pêvajoyê Dixebitîne çêbike" Xelata Dijkstra wergirt.

Ev ji aliyê formatê ve beşa herî neasayî ya bernameyê ye, ji ber ku ne raportek e, lê pirs û bersiv e. Gava ku beşek girîng a temaşevanan jixwe bi her cûre xebatên ku li ser bingeha "teoriya Lamport", gotar û raporên wî ve girêdayî ye, jixwe nas e (an jî dikare nas bike), girîngtir e ku meriv hemî wextê berdest li ser pêwendiya rasterast derbas bike.

Fikir hêsan e - hûn du raporan li ser YouTube temaşe dikin: "Divê bernamekirin ji kodkirinê bêtir be" и "Heke hûn Bernameyekê Dinivîsin, Zimanek Bernamekirinê Bikarnebînin" û bi kêmanî pirsek amade bikin, û Leslie bersiv dide.

Yekem ji van her du vîdyoyên ku me berê heye veguherî gotareke habro. Ger demjimêrek we tune ku hûn vîdyoyê temaşe bikin, hûn dikarin bi lez û bez hemî di forma nivîsê de bixwînin.

Nîşe: Li ser YouTube gelek vîdyoyên Leslie Lamport hene. Ji bo nimûne, hêja heye Kursa TLA +. Guhertoyek negirêdayî ya tevahiya vê qursê li vir heye rûpela malê ya nivîskarê, û wî ji bo dîtina hêsantir li ser cîhazên mobîl ew li YouTube barkir.

Martin Kleppmann - Daneyên li ser cîhazên bikarhêner ji bo hevkariya belavkirî hevdeng kirin

19 serê hîdro. Awirek mezin a bernameyê Martin Kleppmann lêkolînerek e li Zanîngeha Cambridge ku li ser CRDT û verastkirina fermî ya algorîtmayan dixebite. pirtûka Martin "Sêwirana Serlêdanên Daneyên Zehf", ku di sala 2017-an de hate weşandin, îsbat kir ku ew pir serketî ye û ew di warê hilanîn û hilanînê daneyan de xist nav lîsteyên bestfiroşan. Kevin Scott, CTO li Microsoft, carekê got: “Divê ev pirtûk ji bo endezyarên nermalavê pêdivî be. Ev çavkaniyek kêm e ku teorî û pratîkê li hev dike da ku ji pêşdebiran re bibe alîkar ku di sêwirandin û bicîhkirina binesaziyê û pergalên daneyê de jîrtir bibin. Afirînerê Kafka û CTO of Confluent, Jay Kreps, tiştek weha got.

Berî ku biçe nav lêkolîna akademîk, Martin di pîşesaziyê de xebitî û du destpêkek serkeftî damezrand:

  • Rapportive, ji bo nîşandana profîla civakî ya têkiliyan ji e-nameya we, ku LinkedIn di 2012-an de kirî;
  • Go Test It, karûbarek ji bo ceribandina bixweber malperan di gerokên cihêreng de, ku RedGate di sala 2009-an de kirî.

Bi gelemperî, Martin, her çend ji serpêhatiyên me kêmtir navdar be jî, jixwe karîbû hindek tevkariyê li pêşkeftina komputera belavkirî û pîşesaziyê bike.

Di vê axaftinê de, Martin dê li ser mijarek nêzîkî lêkolîna xwe ya akademîk biaxive. Di Google Docs û sofayên hevserûberkirina belgeyên mîna wan de, "guherandina hevkarî" tê wateya karekî dubarekirinê: her bikarhêner kopyaya xwe ya belgeya hevpar heye, ku paşê ew diguhezîne, û hemî guhertin li seranserê torê ji yên mayî re têne şandin. beşdaran. Guhertinên di belgeyên negirêdayî de rê li ber nerazîbûna demkî ya belgeyê di derbarê beşdarên din de vedike, û ji nû ve hevdengkirinê pêdivî bi destwerdana nakokî heye. Ji bo vê yekê ew hene Cureyên Daneyên Berberkirî yên bê-nakok (CRDT), bi rastî, tiştek pir nû ye, ku cewhera wê tenê di sala 2011 de hate formule kirin. Ev axaftin nîqaş dike ka ji wê demê û vir ve di cîhana CRDT de çi qewimiye, pêşkeftinên herî dawî çi ne, nêzîkatiya çêkirina serîlêdanên herêmî-yekemîn bi gelemperî û karanîna pirtûkxaneyek çavkaniyek vekirî Automerge gelek rindik.

Hefteya bê em ê hevpeyvînek dirêj bi Martin re li ser Habré biweşînin, ew ê balkêş be.

Pedro Ramalhete - Strukturên daneya bê bend û danûstendinên bê bend

19 serê hîdro. Awirek mezin a bernameyê Pedro li Cisco-yê dixebite û ev deh salên dawîn an deh sal in ku algorîtmayên paralel pêşve dixe, di nav de mekanîzmayên hevdengkirinê, strukturên daneya bê kilît û bê bend û her tiştê ku hûn dikarin li ser vê mijarê xeyal bikin. Berjewendiyên wî yên lêkolîn û endezyariyê yên heyî balê dikişînin ser Avakirinên Gerdûnî, Bîra Veguhastina Nermalavê, Bîra Berdewam û teknolojiyên mîna ku sepanên rast, berbelav û beredayî-tehemûl dikin. Ew di heman demê de nivîskarê blogek e ku bi berfirehî di derdorên teng de tê zanîn Concurrency Freaks.

Pir sepanên pirzimanî naha li ser strukturên daneya paralel têne xebitandin, ji karanîna rêzikên peyaman di navbera lîstikvanan de heya strukturên daneya pêvekirî yên di firotgehên nirxa sereke de. Ew gelek sal in di Java JDK de bi serfirazî dixebitin, û hêdî hêdî li C ++ têne zêdekirin.

Awayê herî hêsan ji bo bicihanîna avahiyek daneya paralel pêkvekek rêzdar (yek-têkilî) ye ku tê de rêbaz ji hêla mutexes ve têne parastin. Ev ji her Hezîranê re tê gihîştin, lê di warê pîvandin û performansê de pirsgirêkên eşkere hene. Di heman demê de, strukturên daneya bê kilît û bê bende ne tenê bi xeletiyan re çêtir rûdinin, lê di heman demê de profîlek performansa çêtir jî heye - lêbelê, pêşkeftina wan pisporiya kûr û adaptasyona bi serîlêdanek taybetî re hewce dike. Yek rêzek çewt a kodê bes e ku her tiştî bişkîne.

Em çawa dikarin wiya bikin ku tewra nepisporek jî dikare strukturên daneya weha sêwirîne û bicîh bîne? Tê zanîn ku her algorîtmayek rêzdar dikare bi karanîna her duyan jî bi ewlehî were çêkirin sêwirana gerdûnî, an bîranîna danûstendinê. Ji ber ve yekê, ew dikarin astengiya têketina çareserkirina vê pirsgirêkê kêm bikin. Lêbelê, her du çareserî bi gelemperî dibe sedema pêkanîna bêbandor. Pedro dê biaxive ka wan çawa karî van sêwiranan bikêrtir bikin û hûn çawa dikarin wan ji bo algorîtmayên xwe bikar bînin.

Heidi Howard - Rizgarkirina lihevhatina belavkirî

19 serê hîdro. Awirek mezin a bernameyê Heidi Howard, mîna Martin, lêkolînerê pergalên belavbûyî li Zanîngeha Cambridge ye. Taybetmendiyên wê hevgirtî, tolerasyona xeletiyê, performans û lihevhatina belavkirî ne. Ew herî baş ji bo giştîkirina xwe ya algorîtmaya Paxos ya ku jê re tê gotin tê zanîn Paxos Flexible.

bibîr bînin, ku Paxos malbatek protokolan e ku ji bo çareserkirina pirsgirêka lihevhatinê di tora komputerên nebawer de, li ser bingeha xebata Leslie Lamport. Bi vî rengî, hin axaftvanên me li ser pirsgirêkên ku di destpêkê de ji hêla axaftvanên me yên din ve hatine pêşniyar kirin dixebitin - û ev ecêb e.

Qabiliyeta dîtina lihevhatinekê di nav gelek mêvandaran de - ji bo navnîşan, hilbijartina serok, astengkirin, an hevrêziyê - di pergalên belavbûyî yên nûjen de pirsgirêkek bingehîn e. Paxos naha riya sereke ye ji bo çareserkirina pirsgirêkên lihevhatinê, û li dora wê gelek lêkolîn hene ku ji bo berfirehkirin û xweşbînkirina algorîtmayê ji bo hewcedariyên cihêreng ên pratîkî.

Di vê axaftinê de, em ê bingeha teorîkî ya Paxos-ê ji nû ve bigerin, hewcedariyên orîjînal rehet bikin û algorîtmayê giştî bikin. Em ê bibînin ku Paxos bi eslê xwe tenê vebijarkek e di nav cûrbecûr nêzîkatiyên lihevhatinê de, û ku xalên din ên li ser spektrumê jî ji bo avakirina pergalên dabeşkirî yên baş pir bikêr in.

Alex Petrov - Mesrefên hilanîna xwe bi Veguheztina Transient û Quorumên Erzan kêm bikin

19 serê hîdro. Awirek mezin a bernameyê Alex pisporek databas û pergalên hilanînê ye, û ya herî girîng ji bo me, berpirsiyarek e Cassandra. Ew niha li ser pirtûkek, Database Internals, bi O'Reilly re dixebite.

Ji bo sîstemên bi hevgirtina dawî (bi termînolojiya rûsî - "hevgirêdana paşîn"), piştî ku girêkek têkçû an jî parçebûna torê, hûn hewce ne ku dubendiya jêrîn çareser bikin: an pêkanîna daxwazan bidomînin, hevgirtinê bikin qurban, an jî pêkanîna wan red bikin û hebûna xwe bikin qurban. Di pergalek wusa de, quorum, lihevhatina binekomên girêkan û piştrastkirina ku bi kêmî ve yek girêk nirxa herî dawî dihewîne, dikare bibe çareseriyek derî ya baş. Hûn dikarin têkçûn û windabûna girêdana bi hin nokan re bijîn dema ku hîn jî bi nirxên herî dawî re bersiv bidin.

Lêbelê, her tişt bihayê xwe heye. Pîlana dubarekirina quorum tê wateya zêdekirina lêçûnên hilanînê: Pêdivî ye ku daneyên zêde yekcar li ser gelek girêkan werin hilanîn da ku gava pirsgirêk çêbibe têra xwe kopiyên berdest hene. Derket holê ku hûn ne hewce ne ku hemî daneyan li ser hemî kopiyan hilînin. Heke hûn daneyan tenê li ser beşek girêkan hilînin, û ji bo senaryoyên têkbirinê girêkên taybetî (Transient Replica) bikar bînin, hûn dikarin barkirina hilanînê kêm bikin.

Di çarçoveya raporê de em ê bifikirin Replicas şahidê, pilana dubarekirinê tê bikaranîn Spanner и dikana mega, û pêkanîna vê konseptê di Apache Cassandra de tê gotin Veguhastina Demkî & Quorumên Erzan.

Dmitry Vyukov - Goroutine eşkere kirin

19 serê hîdro. Awirek mezin a bernameyê Dmitry pêşdebirek li Google-ê ye ku li ser ceribandina dînamîkî ya C/C++ û Go - Navnîşan / Bîr / ThreadSanitizer, û amûrên mîna ji bo kernel Linux-ê dixebite. Beşdarî Go a plansazkerek goroutine berbelavkirî, anketek torê, û berhevkerek çopê ya paralel bû. Ew pispor e di pirthreading de, nivîskarê bi dehan algorîtmayên nû yên ne-astengker e û xwediyê Kembera Reş Intel.

Niha hinekî li ser raporê bixwe. Zimanê Go xwedan piştgirîya xwemalî ye ji bo pirtextî di forma goroutines (têlên sivik) û kanalan (rifên FIFO). Van mekanîzmayan ji bikarhêneran re pir hêsan û kêfê dike ku serîlêdanên pir-mijal ên nûjen binivîsin, û ew mîna sêrbaz xuya dike. Wekî ku em fêm dikin, li vir sêr tune. Di vê axaftinê de, Dmitry dê di nav tevliheviyên nexşerêya Go de bigere û sirên pêkanîna vê "efsûnê" nîşan bide. Pêşîn, ew ê li ser hêmanên sereke yên plansazker nihêrînek bide û ji we re vebêje ka ew çawa dixebite. Dûv re, em ê hûrgulî li aliyên takekesî yên wekî stratejiya parkkirinê/neparkirinê û birêvebirina bangên pergala astengkirinê hûr bibin. Di dawiyê de, Dmitry dê piçekî li ser çêtirkirinên gengaz ên plansazker biaxive.

Dmitry Bugaichenko - Lezkirina analîza grafiya belavkirî bi xêzên îhtîmalî û hêj bêtir

19 serê hîdro. Awirek mezin a bernameyê Dmitry hema hema 9 salan bêyî ku têkiliya xwe bi zanîngeh û civata zanistî re winda bike di nav çavkaniyan de xebitî. Analîzkirina daneyên mezin di Odnoklassniki de ji bo wî bû şansek bêhempa ku perwerdehiya teorîkî û bingeha zanistî bi pêşkeftina hilberên rastîn, daxwazî ​​​​de bihevre bike.

Analîzkirina grafê ya belavbûyî karekî dijwar bûye û dimîne: gava ku pêdivî ye ku meriv di derheqê girêdanên verteksek cîran de agahdarî werbigire, bi gelemperî pêdivî ye ku data di navbera makîneyan de were veguheztin, ku ev dibe sedema zêdebûna dema darvekirinê û barkirina binesaziya torê. Di vê axaftinê de, em ê bibînin ka hûn çawa dikarin bi karanîna strukturên daneya îhtîmalî an rastiyên mîna hevrêziya grafiya hevaltiyê di torgilokek civakî de leza pêvajoyê ya girîng bistînin. Hemî ev bi mînakên kodê yên di Apache Spark de têne destnîşan kirin.

Denis Rystsov - Mesrefên hilanîna xwe bi Veguheztina Transient û Quorumên Erzan kêm bikin

19 serê hîdro. Awirek mezin a bernameyê Denis - pêşvebirinê Cosmos DB, pisporek di kontrolkirina modelên hevgirtî, algorîtmayên lihevhatinê, û danûstendinên belavkirî de. Ew niha li Microsoft-ê dixebite, û berî wê li ser pergalên belavkirî li Amazon û Yandex xebitî.

Di vê axaftinê de, em ê binihêrin protokolên danûstendinê yên belavkirî yên ku di van çend salên borî de hatine vedîtin, yên ku dikarin li ser milê xerîdar li ser her firotgeha daneyê ya ku nûvekirina şertî piştgirî dike (berhev bikin û saz bikin) bêne bicîh kirin. Xeta jêrîn ev e ku jiyan bi peywirek du qonax bi dawî nabe, danûstendin dikare li ser her databasan were zêdekirin - di asta serîlêdanê de, lê protokolên cihêreng (2PC, Percolator, RAMP) xwedan danûstandinên cûda ne û ji me re nayên dayîn. belaş.

Alexey Zinoviev - Ne hemî algorîtmayên ML-ê ew berbi bihuşta belavbûyî venakin

19 serê hîdro. Awirek mezin a bernameyê Alexey (zaleslaw) di konferansên din de axaftvanek demdirêj û endamê komîteyên bernameyê ye. Li EPAM Systems perwerdekarek pratîk dike, û ji 2012-an vir ve bi Hadoop/Spark û daneyên mezin ên din re heval e.

Di vê axaftinê de, Alexey dê li ser pirsgirêkên adaptasyona algorîtmayên fêrbûna makîneya klasîk ji bo darvekirinê di moda belavkirî de li ser bingeha ezmûna xwe ya ku bi Apache Spark ML, Apache Mahout, Apache Flink ML û ezmûna afirandina Apache Ignite ML re dixebite, biaxive. Alexey dê di van çarçowe de li ser pêkanîna algorîtmayên ML-ya belavkirî jî biaxive.

Û di dawiyê de, du raporên ji Yandex di derbarê Database Yandex de.

Vladislav Kuznetsov - Database Yandex - em çawa tolerasyona xeletiyê piştrast dikin

19 serê hîdro. Awirek mezin a bernameyê Vladislav pêşdebirek li Yandex-ê di koma platformê ya belavkirî de ye. Database Yandex DBMS-ya berbelavkirî ya horizontî, jeo-belavkirî,-tehemûlê xeletiyê ye ku dikare li ber têkçûna dîskan, pêşkêşker, raft û navendên daneyê bêyî ku hevgirtinê winda bike li ber xwe bide. Ji bo misogerkirina tolerasyona xeletiyê, algorîtmayek xwedan ji bo bidestxistina lihevhatina belavkirî, û her weha hejmarek çareseriyên teknîkî, ku di raporê de bi hûrgulî têne nîqaş kirin, tê bikar anîn. Dibe ku rapor hem ji bo pêşdebirên DBMS û hem jî ji pêşdebirên çareseriyên serîlêdanê yên li ser bingeha DBMS re balkêş be.

Semyon Checherinda - Li YDB'ê kiryaran belav kirin

19 serê hîdro. Awirek mezin a bernameyê Semyon pêşdebirek e di koma platforma belavkirî ya Yandex de, li ser îmkana karanîna pir-kirêdar a sazkirina YDB-ê dixebite.

Database Yandex ji bo pirsên OLTP-ê hatî çêkirin û ji bo pergalek danûstendinê bi daxwazên ACID-ê re tevdigere. Di vê raporê de, em ê algorîtmaya plansazkirina danûstendinê ya ku di binê pergala danûstendinê ya YDB de ye binirxînin. Ka em binihêrin ka kîjan sazî beşdarî danûstendinan dibin, kî nîzama gerdûnî dide danûstendinan, atomî, pêbawerî û astek hişk a veqetandinê çawa têne bidestxistin. Wekî mînakek pirsgirêkek hevpar bikar bînin, ka em li pêkanînên danûstendinê bi karanîna peywirên du qonax û danûstendinên diyarker binêrin. Werin em li ser cudahiyên wan nîqaş bikin.

Çi ye?

Bernameya konferansê bi raporên nû tije berdewam dike. Bi taybetî, em ji raporek hêvî dikin Nikita Koval (ndkoval) ji JetBrains û Oleg Anastasyev (m0nstermind) ji pargîdaniya Odnoklassniki. Nikita di tîmê Kotlin de li ser algorîtmayan ji bo korûtînan dixebite, û Oleg mîmarî û çareseriyên ji bo pergalên bargiraniyê di platforma Odnoklassniki de pêş dixe. Digel vê yekê, 1 cîhek din a bê şert û merc heye, komîteya bernameyê niha bi berendamên wê re dixebite.

Konferansa Hydra dê di navbera 11-12 Tîrmehê de li St. Bilêt hene li ser malpera fermî bikirin. Ji kerema xwe bala xwe bidin hebûna bilêtên serhêl - heke ji ber hin sedeman hûn nikaribin van rojan biçin St.

Te li Hydra bibînin!

Source: www.habr.com

Add a comment