Capitibus hydrae XIX. Magna progressio progressionis

Colloquium die 11 mensis Iulii fiet in St. Petersburg hiatibus Hydrarationum parallelarum ac distributarum evolutioni dicatas. Dolus Hydrae est quod phisicis refrigerantibus (qui solum apud externos colloquia scientifica inveniri possunt) celebres fabros exercentes in unum magnum propositum intersectionis scientiae et praxis coniungit.

Hydra in colloquiis maximis nostris his paucis annis una est. Praecedebat gravissima apparatio, selectio oratorum et relationum. Ultima septimana de hoc habro colloquium exivit cum directore JUG.ru Group, Alexey Fedorov (23derevo).

Nos iam dixi de tribus magnis participibus fundatoribus theoriae systematis distributae - Leslie Lamport, Maurice Herlihy et Michael Scott. Tempus est de tota programmata fusius loqui!

Capitibus hydrae XIX. Magna progressio progressionis

motus

Si programmandi implicantur, uno vel alio modo cum multiplicatione et computatione distributa tractas. Periti in adiunctis campis cum illis directe laborant, sed implicite, distributio nos ubique prospicit: in quolibet computatorio multi-core vel ministerio distributo aliquid est quod calculi in parallelis fungitur.

Multae sunt conferentiae quae varias species programmatis applicandi tegunt. Ex altera parte spectri, peculiares scholas scientificas habemus, quae ingentes theoriae in formato auditorio revelant. Exempli gratia, in parallelis Hydrae apud St. Petersburg est SPTDC schola. Ad colloquium Hydrae dura praxis, scientia, omniaque intersectio colligere conati sumus.

Hoc cogita: miro tempore vivimus, cum videre possimus vivere conditores campi scientiarum et operarum quas student. Medici nec Newtonum nec Einstein congredi - agmen reliquit. Sed iuxta nos adhuc vivunt ii qui fundamenta theoriae systematis distributae creaverunt, linguas populares programmandi invenerunt et primum haec omnia in prototypis operando inposuerunt. Hi homines in medio a labore suo non discedunt, nunc urgent quaestiones in universitatibus et societatibus mundi celeberrimis laborant, et hodie sunt maximi cognitionis et experientiae fontes.

Ex altera parte, opportunitas obviam illis plerumque manet pure theoretica: pauci ex nobis constanter monitores publici eventus in aliqua Universitate Roffensi possunt, et deinde in USA ruunt et ad lectionem cum Michaele Scott reducunt. Hydram omnia membra visitans parvam fortunam constaret, non computando abyssum destructae temporis (quamvis investigationem interesting sonat).

Contra, multos machinas summos, qui in urgentibus quaestionibus in systematibus systematis nunc nunc laborant, habemus, et certum habeo multa narrare. Sed hic quaestio est Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚et tempus eorum valet. Ita, si operarius Microsoft, Google vel JetBrains es, verisimilitudo unum e clarorum oratorum congressus eventu interno acre augetur, sed in genere, imo, hoc cotidie non fit.

Hoc modo Hydra Conferentia magni momenti est quod plerique nostrum facere non possunt, uno in loco et uno tempore, homines inducit quorum notiones vel interactiones cum quibus vitam mutare possunt. Fateor equidem non omnes necessitates systematum distributarum vel aliquorum fundamentalium multiplicium indigere. Cruds in PHP inire potes reliquis vitae tuae ac perfecte felix manere. Sed quisquis eget, casus est tuus.

Haud multum temporis intercessit ab initio Hydrae colloquium Habre. Hoc tempore multum opus factum est - et nunc habemus indicem omnium fere relationum. Algorithms non pigra simplicia, modo pura Hardcore distributa! Cum communibus verbis absolvamus, et vide quid nunc in manibus habeamus.

Keynotes

Keynotes incipiunt et finiunt dies colloquii. Solet punctum clausulae aperturae ad colloquium generale spiritum dirigere. Clausula keynote lineam trahit et explicat quomodo cum scientia et artibus in colloquio quaesitis vivere possumus. Initium et finis: quod maxime memoratur, et generaliter, auxit significationem.

Cliff Click H2O distribuitur K/V algorithmus

Capitibus hydrae XIX. Magna progressio progressionis Cliff legenda est in mundo Java. In nuper 90s, pro sua PhD thesi, scripsit chartam quae inscribitur "Combining Analyses, Optimizationes"quae aliquanto post fundamentum factus est ad HotSpot JVM Server Compiler. Duobus annis post, iam sol Microsystematum in JVM laborat et totum mundum JIT ius existendi ostendit. Haec tota fabula quomodo Java est una e celerrimis modernorum runtorum cum optimizationibus cultissima et velocissima de Cliff Click venit. In primordio, si aliquid static compilator pervium esse creditum est, ne illud quidem experiri debes. Operi Cliff et team, omnes novae linguae inceperunt creari cum idea compilation de JIT per defaltam. Utique hoc non unius hominis officium fuit, sed Cliff magni momenti in eo munere functus est.

In keynotis apertis, Cliff de suo alio conatu loquetur -. H20, memoria in- structa pro tribunali distributo et scalabili machinae discendi applicationes industriales. Vel pressius, de repositione distributa intra paria clavium valoris. Hoc est valde ieiunium repono cum multum interesting proprietatibus (exigua indicem est descriptio) , qui usum similium solutionum in mathematicis magnarum notitiarum effusis admittunt.

Alia fama Cliff daturum est - The Azul Hardware Transactional Memoria experientia. Altera pars biographiae - decem annorum opus ad Azul, ubi multam rerum in Azul ferramentis et technicis acervo renovavit et emendavit: JIT compilatores, runtime, filum exemplar, errorum tractatio, acervus tractatio, ferramentum interruptus, genus oneratum, et sic porro et cetera - bene obtines. idea.

Maxime interesting pars coepit cum ferramenta pro magno negotio fecerunt - supercomputatum ad currendum Java. Res magis eget, formator specie Javae, quae speciales requisita habet - recordationis clausuras legere pro humilitatis mora purgamentorum collectionis, limites reprimendo, virtualis vocat... Una technologiarum frigidissimarum est hardware transactionalis memoria. Tota L1 cuiusvis ex 864 nucleorum scripturae transactionalis participare potuit, quae praesertim ad operandum cum cincinnis Javae potest (obstructiones synchronisatae in parallelis operari possunt quamdiu nulla certae memoriae realis est). Sed formosa idea a duris re oppressa est - et in hac fabula Cliff tibi narrabit cur HTM et STM non sunt aptissima ad practicas necessitates multi-lineorum computandi.

Michael Scott - Dual notitia structurae

Capitibus hydrae XIX. Magna progressio progressionis Michael Scott - Professor Computer Scientiae in Universitate Roffensi, cum qua eum fatum coniunxit iam XXXIV annorumet in domo sua Vniuersitatis Wisconsin-Madison decanatus fuit per quinque annos. Ille investigat et docet discipulos de parallelis et distributis programmandi et linguae consilium.

Totus mundus novit Michaelem propter artem "Pragmatica programmatio Linguae"Editio novissima quae relative nuper edita est - anno MMXV. eius officium "Algorithms pro scalable synchronisation in multiprocessores-memoriae communicatae". accepi Dijkstra Prize ut unus nobilissimus in campo distributus computando and palam iacebat apud universitatem Rochester Online Library. Ipsum quoque Michaelem Scott algorithmus auctorem cognosces "Simple, Fast, and Practical Non Clausus et Clausus Concurrentes Queue Algorithmorum".

Quod ad Javam mundum attinet, hic casus specialis est: una cum Doug Lea, algorithms et synchronos queues in quibus Java bibliothecis operantur, non-obturans evolvit. Hoc prorsus quale "Dual notitiae structurae" notae erunt circa - introductionem harum structurarum in Iava SE 6 in melius perficiendo per 10 tempora java.util.concurrent.ThreadPoolExecutor. Si miraris ante quid hae "Dual notitiae structurae" sint, notitia est de ea related opus.

Mauritius Herlihy - Cautiones et futura computatione distributa

Capitibus hydrae XIX. Magna progressio progressionis Mauritius Herlihy β€” victor duarum Praemium Dijkstra. Primum est ad opus "Exspecta Free Synchronisation" (Brown University), et secunda, recentiora. "Memoria Transactionalis: Architectural Support for Lock-Free Data Structures" (Virginia Tech University). Praemium Dijkstra agnoscit laborem cuius significatio et impetus per decem saltem annos visi sunt, et Mauricius unus e celeberrimis peritis in campo clarus est. Praesens apud universitatem Brown professor operatur et indicem operum paragraphorum habet.

In hac clausula clausula, Mauricius loquetur de theoria et usu impedimenti systemata distributa ex parte classicorum computandi distributa et quomodo plures problemata cognata simpliciores facit. Haec relatio solum in themate colloquii - minime circa hype fodienda est, sed potius quomodo cognitio nostra mirabiliter efficaciter et apte adhiberi potest quoad varios labores.

Mense Iulio 2017, Mauricius iam in Russiam venit ut schola SPTDC interesset, in JUG.ru meetup participatur, et memoria in YouTube spectari potest:

Praecipua progressio

Brevis consideratio relationum in programmate inclusa erit. Aliæ relationes hic fuse describuntur, alia brevius. Longae descriptiones maxime in lingua-anglicana prodierunt quae requirebant nexus ad chartas scientificas, vocabula in Vicipaedia, et sic porro. Plenus index est available vide in colloquio website. Elenchus in website renovabitur et supplebitur.

Leslie Lamport - Q & A

Capitibus hydrae XIX. Magna progressio progressionis Leslie Lampor auctor est operum seminalium in computando distribuendo. "LaTeX" stat pro "Lamport TeX". Ipse primus, anno 1979, notionem introduxit consequentibus constantiaet articulum eius "Quomodo Multiprocessorem facere Computer Quod Multiprocessus Programs recte exsequitur" Dijkstra accepit Prise.

Haec est rarissima pars programmatis in terminis formatis, quia non est relatio quidem, sed quaestio et responsio. Cum pars notabilis auditorum iam nota est (vel familiare fieri potest) cum omnibus operibus quae "theoria Lampport", suis articulis et relationibus innituntur, magis interest omnia tempus praesto esse in communicatione directa.

Idea simplex est - duas relationes in YouTube spectare: "Donec sit amet quam Coding" ΠΈ "Si Programma non es scribens, programming lingua non utere" et parant interrogationem unam saltem, et responsa Leslie.

Ex his duabus videos primum iam habemus conversus in habro articulum. Si horae temporis non habes ut videas speculandum, omnia in textu forma cito legere potes.

Nota: Multa plura sunt Leslie Lamport in YouTube videos. Exempli gratia, optimum est TLA + utique. In online version huius totius cursus praesto est auctoris paginamatque id YouTube imposuit ad facilius spectandas res mobiles.

Martin Kleppmann - Syncing notitia per usoris machinas pro collaboratione distributa

Capitibus hydrae XIX. Magna progressio progressionis Martin Kleppmann est indagator in Universitate Cantabrigiensi laborat in CRDT et formali verificatione algorithmorum. Martin's book "Data-intensiva Applications", anno 2017 editum, valde prosperum esse probavit et fecit eum in tabulas tabulariorum in campo notitiarum repositionis et processus. Kevin Scott, CTO apud Microsoft, semel dixit: β€œHic liber debet habere pro fabrum programmatibus. Hoc est rarum auxilium, quod theoriam et praxim componit ad adiuvandos tincidunt smarter in excogitandis et exsequendis infrastructuris et notitiis systematis. Auctor Kafka et CTO Confluentis, Jay Kreps simile quiddam dixit.

Antequam in investigationem academicam moveatur, Martinus in industria laboravit et duo prosperi motus coepti sunt coaedificati;

  • Rapportive, dicatum ad exhibendas figuras sociales notorum ex inscriptionem tuam, quam LinkedIn emit anno MMXII;
  • Ite Test It, ministerium automatice websites in variis navigatoribus temptatis, quod RedGate anno 2009 emit.

Fere Martinus, licet minus celebris quam clavium notis nostris, iam evolutionem computandi et industriae distribuendam aliquid conferre potuit.

Hac in sermone, Martinus de argumento suo propius ad academicam inquisitionem loquetur. In Google Docs et similibus documento co-edendo lectos "collaborativos edendos" refertur ad negotium replicationis: unusquisque usor suam imaginem documenti communis habet, quod tunc modificatur, et omnes mutationes per reticulum mittuntur ad reliqua. participes. Mutationes ad documentorum offline ducunt ad temporis repugnantiam documenti in relatione ad alios participes, et renovatio synchronisation requirit conflictum pertractatio. Hoc est prorsus quod est for -Conflictus libero Replicated Data Genera (CRDT), immo satis novum est, cuius essentia tantum MMXI formata est. Haec disputatio tractat quid postea in mundo CRDT acciderit, quid recentiores progressiones sint, accessus ad applicationes ad creandos primos applicationes in genere et usum bibliothecae fontis apertae. Automerge praesertim.

Proxima septimana audiemus longum colloquium cum Martino in Habre, iucunda erit.

Petrus Ramalhete - Exspecta, liberum notitia structurae et expectare-liberum transactions

Capitibus hydrae XIX. Magna progressio progressionis Pedro apud Cisco operatur et algorithms parallelos per decem annos vel ideo evolvit, additis mechanismis synchronisationi, cincinno libero et exspectatione datarum liberorum structurarum et omnia quae in hoc argumento excogitare potes. Huius hodiernae investigationis ac machinalis utilitas in Constructionibus Universalibus, Software Transactionalibus Memoriae, Persistenti Memoria et similibus technologiae intendunt quae applicationes rectae, scalabiles et culpae tolerantes efficiunt. Est etiam auctor diarii late in circulis angustis notus Concurrency Freaks.

Plurimae applicationes multiplicatae nunc in structurarum parallelarum datarum currunt, ex usu nuntii queues inter actores ad notas notas structuras in magni pretii thesauris. Multos annos in Java JDK feliciter laboraverunt et tardius ad C++ adduntur.

Simplicissima via ad parallelas notitias efficiendas structuram sequentem (singulam-filam) exsequendam esse, qua methodi a mutexibus muniuntur. Hoc cuilibet Iunio pervium est, sed problemata signanda et perficienda manifestas habet. Eodem tempore, seram liberam et liberam datarum institutionum opperiri, non solum errores melius tolerare, sed etiam in meliore effectione habere β€” attamen eorum evolutio altam peritia et aptationem ad specificam applicationem requirit. Una linea codicis mali satis est ad omnia frangenda.

Quomodo id efficere possumus ut etiam non-expertus possit eiusmodi notitias structuras excogitare et efficiendi? Notum est aliquem algorithmum sequentiae fieri posse filo tuto utendo utendo universale consiliumaut memoria transactionis. Nam unum impedimentum ingredi possunt ad hanc solvendam quaestionem. Utraque tamen solutiones typice inducunt ad effectum deducendum inefficax. Petrus loquetur quomodo haec consilia efficacius efficere et quomodo his uti potes pro algorithmis tuis.

Heidi Howard - Distributa consensus liberandi

Capitibus hydrae XIX. Magna progressio progressionis Heidi Howard est, ut Martin, inquisitor systematis dispertitus in Universitate Cantabrigiensi. Propria sunt constantia, culpa tolerantia, effectus et consensus distributus. Ea notissima est propter generalitatem algorithmi Paxos vocati Flexibile Paxos.

memini Paxos familia est protocolla ad problema consensuum solvendum in retis computatorum infidelium, innixum opera Leslie Lamport. Sic quidam oratores nostri laborant in quaestionibus, quae ab aliis nostris oratoribus proponuntur, quod est mirabile.

Facultas inveniendi consensum inter multiplices exercitus - appellandi, ducem electionis, interclusionis vel coordinationis - fundamentalis quaestio est in systematis hodiernis distributis. Paxos nunc praecipua est via ad problemata consensum solvenda et multum in eo pervestigationis agitur ut algorithmum dilatare et optimize pro variis practicis necessitatibus.

In hoc sermone, fundamentum theoricae Paxos revisemus, requisita originalia laxantes et algorithmum generaliter. Videbimus Paxos unam optionem esse essentialem inter ingens accessus consensus, et alia puncta in spectro utilissima esse etiam ad systemata bona distributa aedificanda.

Alex Petrov β€” Redigendum sumptibus tuis cum repositione Transiente replicatione et Cheap Quorums

Capitibus hydrae XIX. Magna progressio progressionis Alex est artifex database et reponendi ratio, ac potius pro nobis commissarius in Venus. Operatur in libro, Interna Database, cum O'Reilly.

Nam systemata cum constantiae eventual (in terminologia Russica - "ultima consistentia"), post nodi fragorem vel scissuras retis, necesse est hanc dilemma solvere: vel petitiones exsequi, constantiam sacrificandi, vel eas exequi ac sacrificium disponibilitate recusare. In tali systemate, quorums, imbricatis nodis subses- lis et ut saltem unum nodi valorem recentissimum contineat, bonam solutionem esse potest. Superesse potes defectus et detrimentum connectivity quibusdam nodis dum adhuc respondet cum valoribus ultimis.

Omnia tamen pretium habet. A quorum replicationis ratio subsidia reposita augeri significat: redundans notitia multiplicibus nodis statim reponenda est ut satis sint exemplaria praesto cum quaestio occurrat. Evenit ut non omnes notitias reponere in omnibus replicas. Onus repositionis reducere potes si data tantum ex parte nodis repones, et specialibus nodis (Replica Transiente) pro missionibus tractandis utere.

Per decursum relationis considerabimus Testis ReplicasReplicatio schematismi in mechanica ΠΈ mega copiaet hanc notionem exsecutionem in Apache Cassandra appellatam Transiens Replication & Cheap Quorums.

Dmitry Vyukov - Goroutines expositae

Capitibus hydrae XIX. Magna progressio progressionis Dmitry elit est apud Google laborantem in probatione dynamica pro C/C++ et Go - Oratio/Memoria/ThreadSanitizer, et similia instrumenta pro nucleo Linux. Contulit ad ire scedulam scalabilem goroutine, poller retis et exactorem parallelum purgamentum. Multiplicationis peritus est, auctor duodecim algorithmarum novarum non-obstructionum et dominus est. Niger Cingulum Intel.

Nunc pauca de ipsa fama. Lingua Go indigena subsidium multiplicandi in forma goroutinarum (stamina lucis) et canales (FIFO queues) habet. Hae machinae facillime et iucundum faciunt pro users ad scribendas applicationes modernas multi-lineas, et spectat sicut magicae. Ut intelligimus, magicae hic non est. Hoc in sermone, Dmitry in subtilitates Ire scheduler intromittet et arcana monstrabit exsequendi hanc "magicam". Primo, dabit contemplationem principalium partium cedularum, et narrabit tibi quomodo operatur. Deinde propius inspiciemus ad singulas aspectus quales in raedam/indocti consilii ac ratio claudendi tractandi vocat. Denique Dmitry pauca de melioribus possibilibus ad schedulas loquetur.

Dmitry Bugaichenko - Acceleratio analysin graphi distributa cum syllabis probabilisticis et magis

Capitibus hydrae XIX. Magna progressio progressionis Dmitry in peregrinando per 9 fere annos laboravit sine contactu cum universitate et communitate scientifica. Magna analysis in Odnoklassniki facta est ei facultas unica ad componendi theoreticam institutionem et fundamentum scientificum cum progressu realium, in-postulationum productorum.

Analysis graphi distributa fuit et manet arduum negotium: cum necessarium erit ut notitias de nexus propinqui vertex habere, notitia saepe transferenda est inter machinas, quae tempus auget et onera in retis infrastructuram ducit. In hoc sermone, videbimus quomodo poteris significantes celeritates processus acquirere, utendo probabilisticarum notitiarum structurarum seu rerum symmetriarum sicut graphi amicitiae in retis socialibus. Haec omnia exempla in Apache Spark illustrant cum codice.

Dionysius Rystsov - Redigendum sumptibus tuis cum repositione Transiente replicatione et Cheap Quorums

Capitibus hydrae XIX. Magna progressio progressionis Dionysius - elit Cosmos DBvir peritus constantiae in reprimendorum exemplorum, consensuum algorithmarum et transactionum distributarum. Nunc Microsoft laborat, et antequam systemata in Amazon et Yandex distributa laboraverit.

In hoc sermone inspice transactionem distributam protocolla quae per hos annos inventa sunt, quae in parte clientis effici possunt super cuiusvis notitiae copiae quae renovationem conditionalem sustinet (comparare et instituere). Linea extrema est quod vita cum duobus phase commissis non finitur, transactiones super quibusvis databases - in applicationis gradu, sed diversae protocolla (2PC, Percolator, RAMP) diversa negotiationes habent nec nobis datae sunt. gratis pro.

Alexey Zinoviev - Non omnes ML algorithmi faciunt ut coelum distribuant

Capitibus hydrae XIX. Magna progressio progressionis Alexei (zaleslaw) orator et socius programmatis in aliis colloquiis longum tempus est. Exercitator apud EPAM Systemata exercens, et Hadoop/Smark amici fuit et alia magna notitia post MMXII.

In hac colloquio, Alexey loquetur de quaestionibus adaptandi machinam classicam discendi algorithms ad executionem in modo distributo secundum suam experientiam operandi cum Apache Spark ML, Apache Mahout, Apache Flink ML et experientia creandi Apache Ignite ML. Alexey etiam loquetur de exsecutione ML algorithm distributa in his compagibus.

Et tandem duas relationes ex Yandex circa Yandex Database.

Vladislav Kuznetsov - Yandex Database - Quomodo culpam sustinemus tolerantiam?

Capitibus hydrae XIX. Magna progressio progressionis Vladislav elit in Yandex est in coetus suggestus distributus. Yandex Database est transversaliter scalable, geo-distributus, culpa-patiens DBMS qui defectum orbis, ministri, tormenta et centra data sine constantia sustinere potest. Ad tolerantiam culpae obtinendam, algorithmus proprietatis ad consensum distributum obtinendum adhibetur, necnon aliquot solutiones technicae, de quibus singillatim in relatione tractatur. Renuntiatio interest utriusque DBMS tincidunt et tincidunt solutionum applicationis in DBMS fundatam.

Semyon Checherinda - Distribuit transactions in YDB

Capitibus hydrae XIX. Magna progressio progressionis Semyon elit est in caterva tribunali distributo Yandex, operans in possibilitate multi-tenentis usu institutionis YDB.

Yandex Database ad OLTP queries destinatur et cum ACID requisitis ad rationem transactionalem obsequitur. In hac relatione considerabimus transactionem algorithmus qui ratio transactionis YDB subest. Intueamur quibus entia rerum in transactionibus participent, qui ordinem globali negotiorum tribuit, quomodo transactiones atomicity, fides et stricto ambitus solitudo efficiuntur. Communi problemate utendo exemplo, inspiciamus transactiones exsecutiones duorum temporum committi et negotiorum determinatorum. Eorum differentias discutiamus.

Quid deinde?

Progressio colloquii novis relationibus impleri pergit. Praesertim relationem ex Nikita Koval (ndkoval) Ex JetBrains et Oleg Anastasyev (m0nstermind) ex comitatu Odnoklassniki. Nikita in algorithms pro coroutinis in quadrigis Kotlin laborat, et Oleg architecturae ac solutiones pro summus onus systematis in Odnoklassniki suggestu evolvit. Praeterea 1 magis sub condicione socors inanis est, programma certaminis cum candidatis nunc laborat.

Hydra colloquio die 11-12 iulii fiet in St. Petersburg. Tesseras sunt praesto emo in rutrum. Quaeso attende promptitudinis tesserarum Online - si aliqua de causa S. Petersburg his diebus accedere non potes.

Vide tu Hydram!

Source: www.habr.com