19 ceann hydra. Sealladh farsaing air a’ phrògram

Air 11-12 Iuchar, thèid co-labhairt a chumail ann an St Petersburg Hydracoisrigte do leasachadh siostaman co-shìnte agus sgaoilte. Is e an rud mu Hydra gu bheil e a’ cothlamadh prìomh luchd-saidheans (a lorgar mar as trice dìreach aig co-labhairtean saidheansail cèin) agus innleadairean eòlach ainmeil ann an aon phrògram mòr aig crois-rathaid saidheans agus cleachdadh.

Tha Hydra air aon de na co-labhairtean as cudromaiche a th’ againn o chionn beagan bhliadhnaichean. Roimhe sin bha ullachadh fìor chudromach, taghadh luchd-labhairt agus aithisgean. mu dheidhinn an t-seachdain sa chaidh thàinig habrointerview a-mach le stiùiriche Buidheann JUG.ru, Alexei Fedorov (23 deth).

Мы air innseadh mu thràth mu thriùir chom-pàirtichean cudromach, a stèidhich an teòiridh siostaman sgaoilte - Leslie Lamport, Maurice Herlihy agus Michael Scott. Tha an t-àm ann barrachd bruidhinn mun phrògram air fad!

Мотивация

Ma tha thu a’ prògramadh, an uairsin aon dòigh no dòigh eile tha thu a’ dèiligeadh ri ioma-snàithlean agus coimpiutaireachd sgaoilte. Bidh eòlaichean anns na raointean iomchaidh ag obair còmhla riutha gu dìreach, ach gu h-obann, bidh cuairteachadh a’ coimhead oirnn bho gach àite: ann an coimpiutair ioma-cridhe no seirbheis sgaoilte sam bith, tha rudeigin ann a bhios a ’dèanamh àireamhachadh aig an aon àm.

Tha mòran cho-labhairtean ann a tha a’ còmhdach cuid de thaobhan de phrògramadh tagraidh. Air taobh eile an speactram, tha sgoiltean saidheansail sònraichte againn, ann an cruth òraidean, a 'nochdadh mòran de theòiridh iom-fhillte. Mar eisimpleir, ann an co-shìnte ri Hydra ann an St Petersburg, Sgoil SPTDC. Aig co-labhairt Hydra, dh'fheuch sinn ri cleachdadh cruaidh, agus saidheans, agus a h-uile càil a tha aig an eadar-ghearradh a thoirt còmhla.

Smaoinich mu dheidhinn seo: tha sinn a 'fuireach ann an àm iongantach far an urrainn dhut coinneachadh ri luchd-stèidheachaidh an raon saidheans agus innleadaireachd a tha sinn an sàs ann an beò. Cha choinnich luchd-fiosaig ri Newton no Einstein - tha an trèana air falbh. Ach chruthaich an fheadhainn a chruthaich bunaitean teòiridh siostaman sgaoilte, cànanan prògramadh mòr-chòrdte, agus airson a’ chiad uair chuir iad seo uile an sàs ann am prototypes obrach a tha fhathast beò ri thaobh. Chan eil na daoine sin air an cuid obrach a leigeil seachad letheach slighe troimhe, tha iad an-dràsta a’ dèanamh gnìomhan san t-saoghal fhìor aig oilthighean agus companaidhean a tha ainmeil air feadh an t-saoghail, agus is iad na stòran eòlais is eòlais as motha a th’ ann an-diugh.

Air an làimh eile, mar as trice chan eil an cothrom coinneachadh riutha ach teòiridheach: chan urrainn dha mòran againn sùil a chumail gu cunbhalach air tachartasan poblach aig cuid de dh’ Oilthigh Rochester gus cabhag a dhèanamh dha na SA agus air ais gu òraid le Mìcheal Scott. Is e fortan beag a bhiodh ann a bhith a’ tadhal air a h-uile ball de Hydra san fharsaingeachd, a bharrachd air an ùine a chaidh a chaitheamh (ged a tha e coltach gur e ceist inntinneach a bhiodh ann).

Air an làimh eile, tha tòrr de phrìomh innleadairean againn a tha ag obair air fìor dhuilgheadasan siostaman sgaoilte an-dràsta, agus gu cinnteach tha rudeigin aca ri innse. Ach seo an duilgheadas - iadsan работаютagus tha an ùine aca luachmhor. Tha, ma tha thu nad neach-obrach aig Microsoft, Google no JetBrains, tha an coltachd coinneachadh ri aon de na luchd-labhairt ainmeil aig tachartas air an taobh a-staigh ag àrdachadh gu mòr, ach san fharsaingeachd - chan eil, chan eil e a’ tachairt a h-uile latha.

San dòigh seo, tha co-labhairt Hydra a’ coileanadh obair chudromach nach urrainn don mhòr-chuid againn a dhèanamh leinn fhìn - ann an aon àite agus aig aon àm, a’ toirt còmhla daoine aig a bheil beachdan no conaltradh leis an urrainn do bheatha atharrachadh. Tha mi ag aideachadh nach eil feum aig a h-uile duine air siostaman sgaoilte, cuid de rudan bunaiteach iom-fhillte. Faodaidh tu CRUDn a phrògramadh ann am PHP airson a’ chòrr de do bheatha agus a bhith gu tur toilichte. Ach cò a tha feumach air - seo an cothrom agad.

Tha tòrr ùine air a dhol seachad bho chaidh a’ chiad fhoillseachadh aig co-labhairt Hydra air Habré. Rè na h-ùine seo, chaidh tòrr obrach a dhèanamh - agus a-nis, tha liosta againn de cha mhòr a h-uile aithisg. Gun algorithms aon-snàthainn slaodach, dìreach cruaidh-chruaidh sgaoilte fìor! Crìochnaicheamaid le briathran coitcheann, agus faiceamaid na th' againn a nis.

prìomh-fhaclan

Bidh prìomh òraidean a’ tòiseachadh agus a’ crìochnachadh làithean na co-labhairt. Mar as trice is e adhbhar prìomh òraid an fhosglaidh spiorad coitcheann agus stiùireadh na co-labhairt a shuidheachadh. Bidh am prìomh òraid mu dheireadh a’ tarraing loidhne agus a’ mìneachadh mar as urrainn dhuinn a bhith beò leis an eòlas agus na sgilean a fhuair sinn tro làithean na co-labhairt. Toiseach is deireadh: an rud as fheàrr a tha air a chuimhneachadh, agus san fharsaingeachd, tha luach nas motha aige.

Cliff Cliff - An algairim K/V sgaoilte H2O

Tha Cliff na uirsgeul ann an saoghal Java. Aig deireadh nan 90an, airson tràchdas PhD, sgrìobh e pàipear leis an ainm “A’ cothlamadh Mion-sgrùdaidhean, a ’cothlamadh Optimizations”, a thàinig gu bhith na bhunait airson an HotSpot JVM Server Compiler. Dà bhliadhna às deidh sin, bha e mu thràth ag obair aig Sun Microsystems air an JVM agus sheall e don t-saoghal gu lèir gu bheil còir aig an JIT a bhith ann. Thàinig an sgeulachd slàn seo gur e Java aon de na h-amannan ruith ùr-nodha as luaithe leis na optimizations as sgiobalta agus as luaithe a thàinig bho Cliff Click. Aig a 'chiad dol-a-mach, bhathar a' creidsinn ma tha rudeigin ri fhaighinn le neach-cruinneachaidh statach, chan urrainn dhut eadhon feuchainn ri a chuir air falbh. Taing do obair Cliff agus an sgioba, thòisich a h-uile cànan ùr air a chruthachadh leis a 'bheachd air cruinneachadh JIT gu bunaiteach. Gu dearbh, cha b 'e obair aon neach a bha seo, ach bha pàirt glè chudromach aig Cliff ann.

Anns a’ phrìomh òraid, bruidhnidh Cliff mun obair eile aige - H20, àrd-ùrlar cuimhneachaidh airson ionnsachadh innealan sgaoilte agus scalable airson tagraidhean gnìomhachais. Nas mionaidiche, mu stòradh sgaoilte de chàraidean prìomh luach na bhroinn. Is e stòradh gu math luath a tha seo le mòran fheartan inntinneach (tha an dearbh liosta a-staigh tuairisgeul) a leigeas le fuasglaidhean coltach ris a chleachdadh ann am matamataig sruthadh dàta mòr.

Is e òraid eile a bheir Cliff seachad An eòlas cuimhne eadar-ghnìomhach Azul Hardware. Pàirt eile den eachdraidh-beatha aige - deich bliadhna ag obair ann an Azul, far an do dh’ ùraich e agus gun leasaich e tòrr rudan ann an cruach bathar-cruaidh is teicneòlas Azul: luchd-cruinneachaidh JIT, runtime, modal snàithlean, làimhseachadh mhearachdan, làimhseachadh stac, brisidhean bathar-cruaidh, luchdachadh clas, agus mar sin air adhart agus mar sin air adhart - uill, gheibh thu an beachd.

Thòisich am pàirt as inntinniche nuair a rinn iad bathar-cruaidh airson gnìomhachas mòr - supercomputer airson Java a ruith. B’ e rud gu math ùr-ghnàthach a bh’ ann, air a dhealbhadh gu sònraichte airson Java, aig a bheil riatanasan sònraichte - cnapan-starra cuimhne airson leughadh airson cruinneachadh sgudail le stad ìosal, arrays le sgrùdadh crìochan, fiosan brìgheil ... Is e aon de na teicneòlasan as fhuaire cuimhne malairt bathar-cruaidh. Dh’ fhaodadh an L1 gu lèir de gin de na coraichean 864 pàirt a ghabhail ann an sgrìobhadh gnìomh, a tha gu sònraichte cudromach airson a bhith ag obair le glasan ann an Java (faodaidh blocaichean sioncronaich obrachadh aig an aon àm, fhad ‘s nach eil fìor chòmhstri cuimhne ann). Ach chaidh am beachd brèagha an aghaidh na fìrinn chruaidh - agus san aithisg seo innsidh Cliff dhut carson nach eil HTM agus STM gu math freagarrach airson feumalachdan practaigeach coimpiutaireachd ioma-snàithleach.

Mìcheal Scott - Structar dàta dùbailte

Mìcheal Scott - Àrd-ollamh Saidheans Coimpiutaireachd aig Oilthigh Rochester, leis an do cheangail an dàn e airson 34 bliadhna mu thràth, agus aig Oilthigh Wisconsin – Madison, na dheadhan airson còig bliadhna. Tha e an sàs ann an rannsachadh ann an raon phrògraman co-shìnte agus sgaoilte agus dealbhadh cànain agus bidh e a’ teagasg seo do dh’ oileanaich.

Tha an saoghal gu lèir eòlach air Mìcheal le taing don leabhar-teacsa "Prògramadh Cànain Pragmatics", a chaidh fhoillseachadh an ìre mhath o chionn ghoirid - ann an 2015. An obair aige "Algorithms airson sioncronadh scalable air ioma-phroiseactaran cuimhne co-roinnte" a fhuaireadh Duais Dijkstra mar aon den fheadhainn as ainmeil ann an raon coimpiutaireachd sgaoilte agus laighe gu fosgailte aig Leabharlann Air-loidhne Oilthigh Rochester. Is dòcha gu bheil thu eòlach air cuideachd mar ùghdar an aon algorithm Michael-Scott bho "Sìmplidh, luath, agus practaigeach gun a bhith a 'bacadh agus a' bacadh algorithms ciudha co-aontach".

A thaobh saoghal Java, is e cùis shònraichte a tha seo: còmhla ri Doug Lea, leasaich e na h-algorithms neo-bacadh sin agus ciudhaichean sioncronaich air a bheil leabharlannan Java a’ ruith. Seo cò mu dheidhinn a bhios am prìomh “Structaran dàta dùbailte” - thug toirt a-steach nan structaran sin ann an Java SE 6 cothrom dhuinn coileanadh a leasachadh 10 tursan. java.util.concurrent.ThreadPoolExecutor. Ma tha ùidh agad ro-làimh dè a th’ anns na “Structaran Dàta Dàta” sin, tha obair co-cheangailte.

Maurice Herlihy - Blockchains agus àm ri teachd coimpiutaireachd sgaoilte

Maurice Herlihy - Buannaiche dà dhuais Dijkstra. Tha a 'chiad fhear airson obair "Sioncronachadh gun feitheamh" (Oilthigh Brown), agus an dàrna fear, nas ùire - "Cuimhne Gnìomhach: Taic Ailtireachd airson Structaran Dàta gun Ghlas" (Oilthigh Virginia Tech). Tha Duais Dijkstra air a thoirt seachad airson obraichean aig a bheil cudromachd agus buaidh air a bhith follaiseach airson co-dhiù deich bliadhna, agus tha e soilleir gu bheil Maurice air aon de na h-eòlaichean as ainmeil san raon. Tha e an-dràsta na àrd-ollamh aig Oilthigh Brown agus tha eachdraidh fhada de choileanaidhean aige.

Anns a’ phrìomh òraid dùnaidh seo, bruidhnidh Maurice air teòiridh agus cleachdadh shiostaman sgaoilte blockchain bho shealladh clasaig coimpiutaireachd sgaoilte agus mar a bhios e a’ sìmpleachadh mòran dhuilgheadasan co-cheangailte. Tha an aithisg seo a-mhàin air cuspair na co-labhairt - chan ann idir mu dheidhinn an hype mèinnearachd, ach mu dheidhinn mar a dh'fhaodas ar n-eòlas a bhith iongantach èifeachdach agus iomchaidh a chleachdadh ann an co-cheangal ri diofar ghnìomhan.

Anns an Iuchar 2017, thàinig Maurice dhan Ruis mar-thà gu sgoil SPTDC, ghabh e pàirt ann an coinneamh JUG.ru, agus faodar an clàradh fhaicinn air YouTube:

Prìomh phrògram

An uairsin bidh ath-sgrùdadh goirid air na h-aithisgean a tha sa phrògram. Tha cuid de na h-aithisgean air am mìneachadh gu mionaideach an seo, cuid nas mionaidiche. Chaidh tuairisgeulan fada gu ìre mhòr gu aithisgean Beurla a dh’ fheumas ceanglaichean gu pàipearan saidheansail, teirmean air Wikipedia, agus mar sin air adhart. Faodaidh liosta iomlan a bhith faic air làrach-lìn na co-labhairt. Thèid an liosta air an làrach ùrachadh agus a chur ris.

Leslie Lamport - Q&A

Tha Leslie Lamport na h-ùghdar adhartach air coimpiutaireachd sgaoilte. LaTeX a’ ciallachadh “Lamport TeX”. B 'e esan a thug a-steach a' bhun-bheachd airson a 'chiad uair, air ais ann an 1979 cunbhalachd cunbhalach, agus an artaigil aige "Mar a nì thu coimpiutair ioma-phròiseasar a chuireas an gnìomh prògraman ioma-phròiseas gu ceart" fhuair e an Duais Dijkstra.

Is e seo am pàirt as annasaiche den phrògram a thaobh cruth, oir chan e eadhon aithisg a th’ ann, ach seisean ceist is freagairt. Nuair a tha pàirt chudromach den luchd-èisteachd eòlach mu thràth (no faodaidh iad fàs eòlach) air a h-uile seòrsa obair stèidhichte air teòiridh Lamport, na h-artaigilean agus na h-aithisgean aige fhèin, tha e nas cudromaiche an ùine gu lèir a tha ri fhaighinn a chaitheamh air conaltradh dìreach.

Tha am beachd sìmplidh - bidh thu a’ coimhead dà aithisg air YouTube: "Bu chòir do phrògraman a bhith nas motha na còdadh" и "Mura h-eil thu a 'sgrìobhadh prògram, na cleachd cànan prògramadh" agus ullaich co-dhiù aon cheist, agus freagraidh Leslie.

A’ chiad den dà bhidio seo a th’ againn mu thràth tionndadh gu bullshit. Mura h-eil uair a thìde agad airson a’ bhidio fhaicinn, faodaidh tu a leughadh gu sgiobalta ann an cruth teacsa.

Nota: Tha tòrr a bharrachd bhideothan air YouTube le Leslie Lamport. Mar eisimpleir, tha sàr-mhath Cùrsa TLA+. Tha dreach far loidhne den chùrsa slàn seo ri fhaighinn aig duilleag-dachaigh an ùghdair, agus air YouTube dhòirt e e airson coimhead nas goireasaiche air innealan gluasadach.

Màrtainn Kleppman - Sioncronadh dàta thar innealan luchd-cleachdaidh airson co-obrachadh sgaoilte

Tha Martin Kleppmann na neach-rannsachaidh aig Oilthigh Chambridge ag obair air CRDT agus dearbhadh foirmeil algairim. Leabhar Màrtainn "Dealbhadh aplacaidean dian-dàta", a chaidh fhoillseachadh ann an 2017, air a bhith air leth soirbheachail agus bhuail e na liostaichean reic as fheàrr ann an raon stòradh agus giullachd dàta. Kevin Scott, CTO aig Microsoft thuirt aon uair: “Bu chòir an leabhar seo a bhith riatanach dha innleadairean dealbhaidh. Is e goireas ainneamh a tha seo a tha a’ drochaid teòiridh agus cleachdadh gus luchd-leasachaidh a chuideachadh le bhith a’ dealbhadh agus a’ cur an gnìomh bun-structar dàta agus siostaman nas buige.” Chaidh rudeigin coltach ris a ràdh le neach-cruthachaidh Kafka agus CTO Confluent, Jay Kreps.

Mus do ghluais e gu rannsachadh acadaimigeach, bha Màrtainn ag obair sa ghnìomhachas agus cho-stèidhich e dà ghnìomhachas tòiseachaidh soirbheachail:

• Rapportive, coisrigte airson ìomhaigh shòisealta an luchd-aithne post-d agad a thaisbeanadh, a cheannaich LinkedIn ann an 2012;
• Go Test It, inneal sgrùdaidh làrach-lìn fèin-ghluasadach ioma-bhrabhsair a cheannaich RedGate ann an 2009.

San fharsaingeachd, ged nach eil mòran eòlach air Màrtainn ris na prìomh luchd-labhairt againn, tha e air a bhith comasach air beagan a chuir an dà chuid ri leasachadh coimpiutaireachd sgaoilte agus ris a’ ghnìomhachas.

Anns an òraid seo, bruidhnidh Màrtainn air cuspair nas fhaisge air an rannsachadh acadaimigeach aige. Ann an Google Docs agus sòfa coltach ris airson co-ùghdarrachadh sgrìobhainnean, tha “co-ùghdarrachadh” a’ ciallachadh gnìomh ath-riochdachadh: tha am mac-samhail aca fhèin de sgrìobhainn co-roinnte aig gach neach-cleachdaidh, a dh’ atharraicheas iad an uairsin, agus thèid gach atharrachadh a chuir thairis air an lìonra chun chòrr. de na com-pàirtichean. Bidh atharrachaidhean far-loidhne air sgrìobhainnean a’ leantainn gu neo-chunbhalachd sgrìobhainnean sealach a thaobh com-pàirtichean eile, agus feumaidh ath-shioncronachadh làimhseachadh còmhstri. Dìreach airson seo tha Seòrsaichean Dàta Ath-leasaichte gun strì (CRDT), gu dearbh, is e rud gu math ùr a th’ ann, agus cha deach a bhunait a dhealbhadh ach ann an 2011. Tha an òraid seo a’ beachdachadh air na tha air tachairt bhon uairsin ann an saoghal CRDT, dè na leasachaidhean as ùire, a’ beachdachadh air an dòigh-obrach airson a bhith a’ togail thagraidhean ionadail-an-toiseach san fharsaingeachd, agus cleachdadh leabharlann stòr fosgailte. Automerge gu sònraichte.

An ath sheachdain foillsichidh sinn agallamh mòr le Màrtainn air Habré, bidh e inntinneach.

Pedro Ramalhete - Structaran dàta gun feitheamh agus gnothaichean gun feitheamh

Tha Pedro ag obair aig Cisco agus tha e air a bhith a’ leasachadh algorithms co-shìnte airson na deich bliadhna a dh’ fhalbh, a’ toirt a-steach dòighean sioncronaidh, structaran dàta gun ghlas agus gun fheitheamh, agus a h-uile càil as urrainn dhut smaoineachadh air a’ chuspair seo. Tha na h-ùidhean rannsachaidh agus innleadaireachd a th’ aige an-dràsta ag amas air Universal Constructions, Cuimhne Gluasadach Bathar-bog, Cuimhne Seasmhach, agus teicneòlasan coltach ris gus tagraidhean ceart, so-ruigsinneach agus fulangach ri lochdan a chomasachadh. Agus tha e cuideachd na ùghdar air blog a tha aithnichte fad is farsaing ann an cearcallan cumhang Freaks concurrency.

Tha a’ mhòr-chuid de thagraidhean ioma-snàthainn a-nis a’ ruith air structaran dàta co-shìnte, bho bhith a’ cleachdadh ciudha teachdaireachd eadar cleasaichean gu structaran dàta clàr-amais ann an stòran prìomh luach. Tha iad air a bhith ag obair gu soirbheachail anns an Java JDK airson grunn bhliadhnaichean, agus tha iad gu slaodach gan cur ri C ++.

Is e an dòigh as sìmplidh air structar dàta co-shìnte a chuir an gnìomh buileachadh sreathach (snàithleach singilte) anns a bheil na dòighean air an dìon le mutexes. Tha seo ri fhaighinn airson Ògmhios sam bith, ach tha cùisean follaiseach ann mu sgèileadh agus coileanadh. Aig an aon àm, chan e a-mhàin gu bheil structaran dàta gun ghlas agus gun feitheamh a’ làimhseachadh mhearachdan nas fheàrr, ach cuideachd tha ìomhaigh coileanaidh nas fheàrr aca - ge-tà, tha an leasachadh aca a’ feumachdainn eòlas domhainn agus atharrachadh gu cùis cleachdaidh sònraichte. Tha aon loidhne ceàrr de chòd gu leòr airson a h-uile càil a bhriseadh.

Ciamar a nì thu cinnteach gun urrainn eadhon neach neo-eòlaiche structaran dàta mar sin a dhealbhadh agus a bhuileachadh? Tha fios gum faod an dàrna cuid algorithm sreathach sam bith a dhèanamh sàbhailte snàithlean dealbhadh uile-choitcheann, no cuimhne gnìomhachdail. Airson aon rud, faodaidh iad an ìre inntrigidh ìsleachadh airson fuasgladh fhaighinn air an duilgheadas seo. Ach, tha an dà fhuasgladh buailteach leantainn gu buileachadh neo-èifeachdach. Bruidhnidh Pedro air mar a chaidh aca air na togalaichean sin a dhèanamh nas èifeachdaiche agus mar as urrainnear an cleachdadh airson na h-algorithms aca.

Heidi Howard - Co-aontachd sgaoilte a shaoradh

Tha Heidi Howard, mar Mhàrtainn, na neach-rannsachaidh siostaman sgaoilte aig Oilthigh Chambridge. Tha an speisealachadh aice cunbhalachd, fulangas sgàinidhean, coileanadh agus co-aontachd sgaoilte. Tha i ainmeil airson a coitcheannachadh air an algairim Paxos ris an canar Paxos sùbailte.

a chuimhneachadh gu bheil Paxos - teaghlach de phròtacalan airson fuasgladh fhaighinn air duilgheadas co-aontachd ann an lìonra de choimpiutairean neo-earbsach, a bha stèidhichte air obair Leslie Lamport. Mar sin, tha cuid den luchd-labhairt againn ag obair air gnìomhan a mhol ar luchd-labhairt eile bho thùs - agus tha seo mìorbhaileach.

Tha an comas co-aontachd a lorg am measg grunn luchd-aoigheachd - airson dèiligeadh, taghadh stiùirichean, bacadh no co-òrdanachadh - na chùis bhunaiteach ann an siostaman sgaoilte an latha an-diugh. Is e Paxos a-nis am prìomh dhòigh air duilgheadasan co-aontachd fhuasgladh, agus tha tòrr rannsachaidh timcheall air gus an algairim a leudachadh agus a bharrachadh airson diofar fheumalachdan practaigeach.

Anns an aithisg seo, tadhlaidh sinn a-rithist air bunait teòiridheach Paxos, a 'gabhail fois air na riatanasan tùsail agus a' coitcheannachadh an algairim. Chì sinn nach e Paxos, gu dearbh, ach aon de na roghainnean am measg raon mòr de dhòighean-obrach a thaobh co-aontachd, agus gu bheil puingean eile air an speactram cuideachd gu math feumail airson siostaman sgaoilte math a thogail.

Ailig Petrov - Lùghdaich na cosgaisean stòraidh agad le ath-riochdachadh gluasadach agus cuòram saor

Tha Alex na eòlaiche stòr-dàta agus stòraidh agus, nas cudromaiche, na neach-coimhid aig Cassandra. Tha e an-dràsta ag obair còmhla ri O'Reilly air an leabhar Database Internals.

Airson siostaman le cunbhalachd mu dheireadh (ann am briathrachas na Ruis - “cunbhalachd anns a’ cheann thall”), às deidh tuiteam nod no sgaradh lìonra, feumar an dileab a leanas a rèiteach: an dàrna cuid leantainn air adhart a’ coileanadh iarrtasan, ag ìobairt cunbhalachd, no diùltadh an cur an gnìomh agus ìobairt a thoirt seachad. Ann an leithid de shiostam, faodaidh cuòram, a bhith a’ dol thairis air fo-sheataichean nodan agus a’ dèanamh cinnteach gu bheil an luach as ùire aig co-dhiù aon nód, a bhith na fhuasgladh math air iomall. Tha e comasach mairsinn air fàilligidhean agus call ceangail ri cuid de nodan fhad ‘s a chumas iad a’ freagairt ris na luachan as ùire.

Ach, tha a phrìs aig a h-uile dad. Tha sgeama ath-riochdachadh cuòram a’ ciallachadh cosgais stòraidh nas àirde: feumaidh tu dàta nach eilear a’ cleachdadh a stòradh air ioma nodan aig an aon àm gus dèanamh cinnteach gu bheil lethbhric gu leòr rim faighinn nuair a tha duilgheadas ann. Tha e a 'tionndadh a-mach nach urrainn dhut a stòradh a h-uile dàta air a h-uile mac-samhail. Faodaidh tu an t-uallach air stòradh a lughdachadh ma chumas tu dàta a-mhàin air pàirt de na nodan, agus cleachd nodan sònraichte (Mac-samhail Gluasadach) airson suidheachaidhean làimhseachaidh fàilligidh.

Ann an cùrsa na h-aithisg, beachdaichidh sinn Mac-samhail Fhianais, an sgeama mac-samhail a thathar a’ cleachdadh ann an Stàilinn и stòr mega, agus buileachadh a’ bhun-bheachd seo ann an Apache Cassandra fo na h-ainmean Ath-riochdachadh sealach & Cuòram saor.

Dmitry Vyukov - Goroutines fosgailte

’S e leasaiche aig Google a th’ ann an Dmitry a tha ag obair air deuchainnean fiùghantach airson C/C++ agus Go — Address/Memory/ThreadSanitizer, agus innealan eithne coltach ris. LinuxChuir e clàr-ama goroutine sgèileachail, polladair lìonra, agus cruinneadair sgudail co-shìnte ri Go. Tha e na eòlaiche ann an ioma-shnàthadh, ùghdar dusan algairim ùr neo-bhacadh, agus tha e a’ sealbhachadh an Crios Dubh Intel.

A-nis beagan mun aithisg fhèin. Tha taic dhùthchasach aig cànan Go airson ioma-snàthainn ann an cruth goroutines (snàithleanan aotrom) agus seanalan (ciudhaichean FIFO). Taing dha na h-innealan sin, tha e gu math furasta agus tlachdmhor do luchd-cleachdaidh tagraidhean ioma-snàthainn ùr-nodha a sgrìobhadh, agus tha e coltach ri draoidheachd. Mar a thuigeas sinn, chan eil draoidheachd an seo. Anns an aithisg seo, bidh Dmitry a ’sgrùdadh iom-fhillteachd clàr-ama Go agus a’ sealltainn na dìomhaireachdan mu bhith a ’buileachadh an“ draoidheachd ”seo. An toiseach, bheir e sealladh farsaing air na prìomh phàirtean den chlàr-ama, mar a tha e ag obair. An ath rud, bheir sinn sùil nas mionaidiche air cuid de thaobhan, leithid an ro-innleachd pàircidh / dì-phàirceadh agus làimhseachadh gairmean siostam bacadh. Mu dheireadh, bidh Dmitry a 'bruidhinn beagan mu leasachaidhean a dh'fhaodadh a bhith ann an clàr-ama.

Dmitry Bugaichenko - A’ luathachadh mion-sgrùdadh graf air a chuairteachadh le sgeidsichean probabilistic agus barrachd

Tha Dmitry air a bhith ag obair ann an taobh a-muigh airson faisg air 9 bliadhna, gun a bhith a 'call conaltradh leis an oilthigh agus a' choimhearsnachd shaidheansail. Bha mion-sgrùdadh dàta mòr ann an Odnoklassniki na chothrom sònraichte dha trèanadh teòiridheach agus bunait saidheansail a chur còmhla ri leasachadh thoraidhean fìor, air an robh iarrtas.

Tha mion-sgrùdadh graf sgaoilte air a bhith agus fhathast na obair dhoirbh: nuair a bhios feum air fiosrachadh fhaighinn mu cheanglaichean vertex faisg air làimh, gu tric feumar an dàta a ghluasad eadar innealan, a tha a’ leantainn gu àrdachadh ann an ùine cur gu bàs agus luchd air an lìonra bun-structair. Anns an òraid seo, chì sinn mar a gheibh thu astar mòr ann an giullachd a’ cleachdadh structaran dàta probabilistic no fìrinnean leithid co-chothromachd a’ ghraf càirdeas ann an lìonra sòisealta. Tha seo uile air a nochdadh le eisimpleirean còd Apache Spark.

Denis Rysov - Lùghdaich na cosgaisean stòraidh agad le ath-riochdachadh gluasadach agus cuòram saor

Denis - leasaiche Cosmos DB, eòlaiche ann an dearbhadh modail cunbhalachd, algorithms co-aontachd, agus gnothaichean sgaoilte. A-nis tha e ag obair aig Microsoft, agus roimhe sin bha e an sàs ann an siostaman sgaoilte aig Amazon agus Yandex.

Anns an aithisg seo, gheibh sinn eòlas air na protocolaidhean malairt sgaoilte a chaidh a chruthachadh thar nam beagan bhliadhnaichean a dh ’fhalbh, a dh’ fhaodar a chuir an gnìomh air taobh teachdaiche a bharrachd air stòr dàta sam bith a bheir taic do ùrachadh le cumhachan (coimeas agus suidheachadh). Is e an loidhne gu h-ìosal nach eil beatha a’ tighinn gu crìch le gealltanas dà-ìre, faodar gnothaichean a chuir ris a bharrachd air stòran-dàta sam bith - aig ìre an tagraidh, ach tha diofar phròtacalan (2PC, Percolator, RAMP) eadar-dhealaichte agus chan eil iad air an toirt dhuinn. an-asgaidh.

Alexei Zinoviev - Chan eil a h-uile algorithm ML a’ tighinn gu crìch ann am pàrras sgaoilte

Alexei (sleagh) an neach-labhairt fad-ùine againn agus na bhall de chomataidhean prògraim aig co-labhairtean eile. Na thrèanaiche gnìomhach aig EPAM Systems, agus tha e air a bhith na charaidean le Hadoop / Spark agus dàta mòr eile bho 2012.

Anns an òraid seo, bruidhnidh Alexey mu na duilgheadasan ann a bhith ag atharrachadh algorithms ionnsachadh inneal clasaigeach airson coileanadh sgaoilte stèidhichte air an eòlas aige le Apache Spark ML, Apache Mahout, Apache Flink ML agus an eòlas air cruthachadh Apache Ignite ML. Bruidhnidh Alexey cuideachd mu bhith a’ buileachadh algorithms ML sgaoilte anns na frèaman sin.

Agus gu crìch, dà aithisg bho Yandex mu Yandex Stòr-dàta.

Vladislav Kuznetsov - Stòr-dàta Yandex - mar a bheir sinn seachad fulangas sgàinidhean

Tha Vladislav na leasaiche aig Yandex anns a 'bhuidheann àrd-ùrlair sgaoilte. Tha Stòr-dàta Yandex na DBMS a tha scalable gu còmhnard, geo-sgaoileadh, fulangach air lochdan a dh’ fhaodas seasamh an aghaidh fàilligeadh diosgan, frithealaichean, racaichean agus ionadan dàta gun a bhith a’ toirt buaidh air cunbhalachd. Gus dèanamh cinnteach à fulangas sgàinidhean, thathas a’ cleachdadh algairim co-aontachd sgaoilte le sealbhadairean, a bharrachd air grunn fhuasglaidhean teignigeach, air an tèid beachdachadh gu mionaideach san aithisg. Faodaidh an aithisg a bhith inntinneach do luchd-leasachaidh DBMS agus luchd-leasachaidh fuasglaidhean gnìomhaichte stèidhichte air DBMS.

Semyon Checherinda - Gnìomhan air an cuairteachadh ann an YDB

Tha Semyon na leasaiche anns a’ bhuidheann àrd-ùrlar sgaoilte aig Yandex, ag obair air comasachd cleachdadh ioma-neach-gabhail air an stàladh YDB.

Tha Stòr-dàta Yandex air a dhealbhadh airson ceistean OLTP agus a’ coinneachadh ri riatanasan ACID airson siostam malairt. Anns an aithisg, beachdaichidh sinn air an algairim clàr-gnothaich a tha mar bhunait air siostam malairt YDB. Dèanamaid sgrùdadh air dè na buidhnean a bhios a’ gabhail pàirt ann an gnothaichean, a bhios a’ sònrachadh òrdugh cruinneil do ghnothaichean, mar a choileanar atmhorachd malairt, earbsachd agus ìre aonaranachd teann. A’ cleachdadh an eisimpleir de ghnìomh cumanta, beachdaichidh sinn air buileachadh ghnothaichean a’ cleachdadh gealltanas dà-ìre agus gnothaichean cinntiche. Bruidhnidh sinn mu na h-eadar-dhealachaidhean aca.

Dè a-nis?

Tha prògram na co-labhairt fhathast air a lìonadh le aithisgean ùra. Gu sònraichte, tha sinn an dùil aithisg bho Nikita Koval (ndkoval) bho JetBrains agus Oleg Anastasia (m0 inntinn) bho Odnoklassniki. Bidh Nikita ag obair air algorithms airson coroutines ann an sgioba Kotlin, agus bidh Oleg a’ leasachadh ailtireachd agus fuasglaidhean airson siostaman luchdan àrd ann an àrd-ùrlar Odnoklassniki. A bharrachd air an sin, tha 1 slot falamh a bharrachd ann, le tagraichean air a bheil comataidh a’ phrògraim ag obair an-dràsta.

Thèid co-labhairt Hydra a chumail air 11-12 Iuchar ann an St Petersburg. Faodaidh ticeadan a bhith a cheannach air an làrach-lìn oifigeil. Thoir aire do na tha ri fhaighinn de thiogaidean air-loidhne - mura h-urrainn dhut faighinn gu St Petersburg beò na làithean seo airson adhbhar air choireigin.

Chì mi thu aig Hydra!

Source: www.habr.com