{"id":35091,"date":"2019-10-31T22:02:18","date_gmt":"2019-10-31T19:02:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/19-golov-gidry-bolshoj-obzor-programmy\/"},"modified":"2019-10-31T22:02:18","modified_gmt":"2019-10-31T19:02:18","slug":"19-golov-gidry-bolshoj-obzor-programmy","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/19-golov-gidry-bolshoj-obzor-programmy","title":{"rendered":"19 cabe\u00e7as da hidra. Grande vis\u00e3o geral do programa","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Nos dias 11 e 12 de julho, ocorrer\u00e1 uma confer\u00eancia em S\u00e3o Petersburgo Hydra<\/a><\/noindex>, dedicada ao desenvolvimento de sistemas paralelos e distribu\u00eddos. A proposta da Hydra \u00e9 reunir grandes cientistas (que geralmente s\u00f3 podem ser encontrados em confer\u00eancias cient\u00edficas internacionais) e engenheiros renomados em uma grande programa\u00e7\u00e3o na interse\u00e7\u00e3o entre ci\u00eancia e pr\u00e1tica.<\/p>\n

<\/p>\n

A Hydra \u00e9 uma das nossas confer\u00eancias mais importantes nos \u00faltimos anos. Ela foi precedida por uma prepara\u00e7\u00e3o muito s\u00e9ria, sele\u00e7\u00e3o de palestrantes e apresenta\u00e7\u00f5es. Na semana passada, sobre isso saiu uma entrevista no Habrahabr<\/a><\/noindex> com o diretor da JUG.ru Group, Alexey Fedorov (23derevo<\/a><\/noindex>). <\/p>\n

<\/p>\n

N\u00f3s j\u00e1 comentamos<\/a><\/noindex> ) sobre tr\u00eas importantes participantes, fundadores da teoria dos sistemas distribu\u00eddos \u2014 Leslie Lamport, Maurice Herlihy e Michael Scott. \u00c9 hora de falarmos mais detalhadamente sobre toda a programa\u00e7\u00e3o!<\/p>\n

<\/p>\n

\"19<\/p>\n

<\/a><\/noindex><\/p>\n

Motiva\u00e7\u00e3o<\/h2>\n

<\/p>\n

Se voc\u00ea trabalha com programa\u00e7\u00e3o, certamente lida com concorr\u00eancia e computa\u00e7\u00e3o distribu\u00edda. Especialistas nas \u00e1reas pertinentes trabalham com isso diretamente, mas a distribui\u00e7\u00e3o nos observa em toda parte: em qualquer computador multi-core ou servi\u00e7o distribu\u00eddo, encontrar\u00e1 algo que realiza c\u00e1lculos em paralelo.<\/p>\n

<\/p>\n

Existem muitas confer\u00eancias que exploram aspectos diferentes da programa\u00e7\u00e3o aplicada. Do outro lado do espectro, temos escolas cient\u00edficas especiais que, no formato de palestras, exploram enormes volumes de teorias complexas. Por exemplo, paralelamente \u00e0 Hydra, em S\u00e3o Petersburgo, est\u00e1 ocorrendo a escola SPTDC<\/a><\/noindex>. Na confer\u00eancia Hydra, procuramos reunir tanto a pr\u00e1tica rigorosa quanto a ci\u00eancia, e tudo o que est\u00e1 na interse\u00e7\u00e3o delas.<\/strong> <\/p>\n

<\/p>\n

Pense bem: vivemos em uma \u00e9poca surpreendente, onde podemos encontrar ao vivo os fundadores da ci\u00eancia e engenharia com as quais trabalhamos. F\u00edsicos n\u00e3o encontrar\u00e3o Newton ou Einstein \u2014 isso j\u00e1 passou. Mas ao nosso lado ainda vivem aqueles que criaram as bases da teoria dos sistemas distribu\u00eddos, inventaram linguagens de programa\u00e7\u00e3o populares e trouxeram tudo isso \u00e0 vida em prot\u00f3tipos funcionais. Essas pessoas n\u00e3o abandonaram seu trabalho no meio do caminho, est\u00e3o atualmente lidando com quest\u00f5es relevantes em universidades e empresas de renome mundial, e s\u00e3o as maiores fontes de conhecimento e experi\u00eancia hoje. <\/p>\n

<\/p>\n

Por outro lado, a possibilidade de encontr\u00e1-los geralmente permanece puramente te\u00f3rica: poucos de n\u00f3s podem monitorar constantemente eventos p\u00fablicos em alguma universidade de Rochester para depois correr para os EUA e voltar a tempo para a aula com Michael Scott. Visitar todos os participantes da Hydra custaria uma pequena fortuna, sem contar a enorme quantidade de tempo desperdi\u00e7ado (embora isso pare\u00e7a uma miss\u00e3o interessante).<\/p>\n

<\/p>\n

Por outro lado, temos v\u00e1rios engenheiros de ponta que est\u00e3o trabalhando ativamente em problemas relevantes de sistemas distribu\u00eddos e eles com certeza t\u00eam muito a compartilhar. Mas aqui est\u00e1 o problema \u2014 eles trabalham<\/em>, e o tempo deles \u00e9 precioso. Sim, se voc\u00ea trabalha na Microsoft, Google ou JetBrains, a probabilidade de encontrar um dos conhecidos palestrantes em um evento interno aumenta drasticamente, mas, na verdade \u2014 n\u00e3o acontece todo dia.<\/p>\n

<\/p>\n

Assim, a confer\u00eancia Hydra desempenha uma fun\u00e7\u00e3o importante que a maioria de n\u00f3s n\u00e3o consegue realizar sozinha \u2014 re\u00fane em um s\u00f3 lugar e ao mesmo tempo pessoas cujas ideias ou cujo contato pode mudar a sua vida. Admito que nem todos precisam de sistemas distribu\u00eddos, ou de algumas coisas fundamentais complexas. Voc\u00ea pode programar CRUDs em PHP durante toda a vida e ser perfeitamente feliz. Mas para quem precisa \u2014 esta \u00e9 a sua chance.<\/p>\n

<\/p>\n

Desde o primeiro an\u00fancio da confer\u00eancia Hydra no Habr, j\u00e1 se passou bastante tempo. Durante esse per\u00edodo, um enorme trabalho foi realizado \u2014 e aqui estamos, com uma lista de quase todas as palestras. Nada de algoritmos de thread \u00fanica mornos, apenas pura dureza distribu\u00edda! Vamos parar com as palavras gen\u00e9ricas e ver o que temos agora em m\u00e3os.<\/p>\n

<\/p>\n

Palestras principais<\/h2>\n

<\/p>\n

As palestras principais come\u00e7am e encerram os dias da confer\u00eancia. Normalmente, o objetivo da palestra de abertura \u00e9 definir o esp\u00edrito e a dire\u00e7\u00e3o da confer\u00eancia. A palestra de encerramento resume tudo e explica como devemos viver com o conhecimento e as habilidades adquiridas durante os dias da confer\u00eancia. O come\u00e7o e o fim: o que ser\u00e1 mais lembrado e, de fato, tem uma import\u00e2ncia maior.<\/p>\n

<\/p>\n

Cliff Click \u2014 O algoritmo H2O K\/V distribu\u00eddo<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Cliff \u00e9 uma lenda no mundo Java. No final dos anos 90, para sua tese de doutorado, ele escreveu um trabalho intitulado \u00abCombining Analyses, Combining Optimizations\u00bb<\/noindex>, que ap\u00f3s algum tempo se tornou a base para o HotSpot JVM Server Compiler. Dois anos depois, ele j\u00e1 trabalhava na Sun Microsystems com a JVM e mostrava ao mundo que o JIT tinha raz\u00e3o de existir. Toda essa hist\u00f3ria de que Java \u00e9 um dos ambientes de execu\u00e7\u00e3o mais r\u00e1pidos da atualidade com as otimiza\u00e7\u00f5es mais inteligentes e r\u00e1pidas come\u00e7ou exatamente com Cliff Click. No in\u00edcio, acreditava-se que se algo estava dispon\u00edvel para um compilador est\u00e1tico, n\u00e3o havia nem motivo para tentar jit\u00e1-lo. Gra\u00e7as ao trabalho de Cliff e sua equipe, todas as novas linguagens come\u00e7aram a ser criadas com a ideia de JIT-compila\u00e7\u00e3o por padr\u00e3o. Com certeza, foi um trabalho que n\u00e3o poderia ser realizado por uma \u00fanica pessoa, mas Cliff desempenhou um papel muito importante nisso.<\/p>\n

<\/p>\n

Na palestra de abertura, Cliff falar\u00e1 sobre outro de seus projetos \u2014 H20<\/a><\/noindex>, uma plataforma em mem\u00f3ria para aprendizado de m\u00e1quina distribu\u00eddo e escal\u00e1vel para aplica\u00e7\u00f5es industriais. Mais especificamente \u2014 sobre o armazenamento distribu\u00eddo de pares \"chave-valor\" dentro dele. Este \u00e9 um armazenamento muito r\u00e1pido com uma s\u00e9rie de propriedades interessantes (a lista completa est\u00e1 em descri\u00e7\u00e3o<\/a><\/noindex>), que permitem a utiliza\u00e7\u00e3o de solu\u00e7\u00f5es semelhantes na matem\u00e1tica do streaming de grandes dados.<\/p>\n

<\/p>\n

Outra apresenta\u00e7\u00e3o com a qual Cliff ir\u00e1 contribuir \u2014 A experi\u00eancia de mem\u00f3ria transacional de hardware da Azul<\/a><\/noindex>. Outra parte de sua biografia \u2014 dez anos de trabalho na Azul<\/noindex>, onde ele atualizou e melhorou muitas coisas no hardware e na pilha tecnol\u00f3gica da Azul: compiladores JIT, ambiente de execu\u00e7\u00e3o, modelo de threads, tratamento de erros, manipula\u00e7\u00e3o de pilhas, interrup\u00e7\u00f5es de hardware, carregamento de classes e assim por diante \u2014 bem, voc\u00ea entendeu.<\/p>\n

<\/p>\n

A parte mais interessante come\u00e7ou quando eles fizeram hardware para grandes empresas \u2014 um supercomputador para executar Java. Foi uma coisa bastante inovadora, feita especialmente para Java, que tem requisitos especiais \u2014 barreiras de mem\u00f3ria para leitura para coleta de lixo de baixa pausa, arrays com verifica\u00e7\u00e3o de limites, chamadas virtuais... Uma das tecnologias mais impressionantes \u2014 mem\u00f3ria transacional de hardware. Todo o L1 de cada um dos 864 n\u00facleos podia participar de uma grava\u00e7\u00e3o transacional, o que \u00e9 especialmente importante para lidar com bloqueios em Java (blocos synchronized podem operar em paralelo, at\u00e9 que haja um verdadeiro conflito de mem\u00f3ria). Mas a solu\u00e7\u00e3o bela se chocou com a dura realidade \u2014 e nesta palestra Cliff ir\u00e1 explicar por que HTM e STM n\u00e3o se adequam muito bem \u00e0s necessidades pr\u00e1ticas de computa\u00e7\u00e3o multithread.<\/p>\n

<\/p>\n

Michael Scott \u2014 Estruturas de dados duais<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Michael Scott<\/a><\/noindex> \u2014 professor de Ci\u00eancia da Computa\u00e7\u00e3o na Universidade de Rochester, que est\u00e1 ligado ao seu destino h\u00e1 34 anos<\/noindex>, e em sua universidade natal, Wisconsin\u2013Madison, foi reitor durante cinco anos. Ele realiza pesquisas na \u00e1rea de programa\u00e7\u00e3o paralela e distribu\u00edda, bem como na design de linguagens, treinando estudantes nessa \u00e1rea.<\/p>\n

<\/p>\n

O mundo inteiro conhece Michael por seu livro did\u00e1tico \u00abProgramming Language Pragmatics\u00bb<\/a><\/noindex>, cuja \u00faltima edi\u00e7\u00e3o foi publicada relativamente recentemente \u2014 em 2015. Seu trabalho \u00abAlgorithms for scalable synchronization on shared-memory multiprocessors\u00bb<\/a><\/noindex> recebeu recebeu o pr\u00eamio Dijkstra<\/a><\/noindex> como um dos mais renomados na \u00e1rea de computa\u00e7\u00e3o distribu\u00edda e est\u00e1 dispon\u00edvel<\/a><\/noindex> na biblioteca online da Universidade de Rochester. Voc\u00ea tamb\u00e9m pode conhec\u00ea-lo como o autor do famoso algoritmo de Michael-Scott em \u00abSimple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms\u00bb<\/a><\/noindex>.<\/p>\n

<\/p>\n

No mundo Java, a situa\u00e7\u00e3o \u00e9 especial: junto com Doug Lea, ele desenvolveu aqueles algoritmos n\u00e3o bloqueantes e filas s\u00edncronas, que s\u00e3o a base das bibliotecas Java. Isso \u00e9 o que abordar\u00e1 a apresenta\u00e7\u00e3o principal \u00abDual data structures\u00bb \u2014 a implementa\u00e7\u00e3o dessas estruturas no Java SE 6 permitiu melhorar a performance em 10 vezes java.util.concurrent.ThreadPoolExecutor<\/code>. Se voc\u00ea j\u00e1 est\u00e1 curioso sobre o que s\u00e3o essas \u00abDual data structures\u00bb, existe um trabalho correspondente<\/a><\/noindex>. <\/p>\n

<\/p>\n

Maurice Herlihy \u2014 Blockchains and the future of distributed computing<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Maurice H\u00e9rlihy<\/a><\/noindex> \u2014 detentor de dois pr\u00eamios Dijkstra. O primeiro \u2014 por seu trabalho em \u00abWait-Free Synchronization\u00bb<\/a><\/noindex> (Universidade Brown), e o segundo, mais recente \u2014 \u00abTransactional Memory: Architectural Support for Lock-Free Data Structures\u00bb<\/a><\/noindex> (Universidade Virginia Tech). O Pr\u00eamio Dijkstra \u00e9 concedido por trabalhos cuja import\u00e2ncia e impacto foram not\u00e1veis por pelo menos dez anos, e \u00e9 evidente que Maurice \u00e9 um dos especialistas mais reconhecidos na \u00e1rea. Atualmente, ele \u00e9 professor na Universidade Brown e possui muitos feitos que dariam um par\u00e1grafo extenso.<\/p>\n

<\/p>\n

Na apresenta\u00e7\u00e3o principal de encerramento, Maurice falar\u00e1 sobre a teoria e a pr\u00e1tica de sistemas distribu\u00eddos em blockchain do ponto de vista dos cl\u00e1ssicos da computa\u00e7\u00e3o distribu\u00edda e como isso simplifica muitos problemas relacionados. Este \u00e9 um discurso estritamente sobre o tema da confer\u00eancia \u2014 nada sobre o hype da minera\u00e7\u00e3o, mas sim sobre como nosso conhecimento pode ser incrivelmente eficiente e pertinente em v\u00e1rias tarefas.<\/p>\n

<\/p>\n

Em julho de 2017, Maurice j\u00e1 esteve na R\u00fassia para a escola SPTDC, participou de um meetup JUG.ru, e a grava\u00e7\u00e3o pode ser vista no YouTube:<\/p>\n

\n

\r\n \"Por\r\n
<\/div>\r\n <\/div><\/center><\/p>\n

Programa principal<\/h2>\n

<\/p>\n

A seguir, uma breve vis\u00e3o geral das palestras que fazem parte do programa. Algumas palestras est\u00e3o descritas detalhadamente, enquanto outras \u2014 de forma mais concisa. As descri\u00e7\u00f5es mais longas ficaram, principalmente, para as palestras em ingl\u00eas, que requerem refer\u00eancias a trabalhos cient\u00edficos, termos na Wikip\u00e9dia, e assim por diante. A lista completa pode ser vista no site da confer\u00eancia<\/a><\/noindex>. A lista no site ser\u00e1 atualizada e complementada. <\/p>\n

<\/p>\n

Leslie Lamport \u2014 Perguntas e Respostas<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 Leslie Lamport \u00e9 autor de obras fundamentais em computa\u00e7\u00e3o distribu\u00edda. \u00abLaTeX\u00bb<\/a><\/noindex> significa \u00abLamport TeX\u00bb. Foi ele quem, pela primeira vez em 1979, introduziu o conceito consist\u00eancia sequencial<\/a><\/noindex>, e seu artigo \"How to Make a Multiprocessor Computer That Correctly Executes Multiprocess Programs\"<\/a><\/noindex> recebeu o pr\u00eamio Dijkstra.<\/p>\n

<\/p>\n

Esta \u00e9 a parte mais incomum do programa, pois n\u00e3o se trata nem mesmo de uma palestra, mas de uma sess\u00e3o de perguntas e respostas. Quando uma parte significativa da audi\u00eancia j\u00e1 est\u00e1 familiarizada (ou pode se familiarizar) com os v\u00e1rios trabalhos baseados na \"teoria de Lamport\", seus pr\u00f3prios artigos e palestras, \u00e9 crucial gastar todo o tempo dispon\u00edvel em comunica\u00e7\u00e3o direta.<\/p>\n

<\/p>\n

A ideia \u00e9 simples \u2014 voc\u00ea assiste a dois v\u00eddeos no YouTube: \u00abA Programa\u00e7\u00e3o Deve Ser Mais Que Codifica\u00e7\u00e3o\u00bb<\/a><\/noindex> e \u00abSe Voc\u00ea N\u00e3o Est\u00e1 Escrevendo um Programa, N\u00e3o Use uma Linguagem de Programa\u00e7\u00e3o\u00bb<\/a><\/noindex> e prepara pelo menos uma pergunta, enquanto Leslie responde.<\/p>\n

<\/p>\n

J\u00e1 transformamos o primeiro desses dois v\u00eddeos em um artigo para o hub . Se voc\u00ea n\u00e3o tem uma hora para assistir ao v\u00eddeo, pode rapidamente ler tudo isso em forma de texto.<\/a><\/noindex>Nota: No YouTube h\u00e1 muito mais v\u00eddeos com Leslie Lamport. Por exemplo, h\u00e1 um excelente<\/p>\n

<\/p>\n

. A vers\u00e3o off-line de todo esse curso est\u00e1 na curso sobre TLA+<\/a><\/noindex>p\u00e1gina inicial do autor , e no YouTube ele disponibilizou para uma visualiza\u00e7\u00e3o mais conveniente em dispositivos m\u00f3veis.<\/a><\/noindex>Martin Kleppmann \u2014<\/p>\n

<\/p>\n

Sincronizando dados entre dispositivos dos usu\u00e1rios para colabora\u00e7\u00e3o distribu\u00edda Martin Kleppmann \u00e9 pesquisador na Universidade de Cambridge, trabalhando em CRDT e verifica\u00e7\u00e3o formal de algoritmos. O livro de Martin<\/a><\/noindex><\/h3>\n

<\/p>\n

\"19 \u00abDesigning Data-Intensive Applications\u00bb , publicado em 2017, foi muito sucessoso e entrou nas listas de bestsellers na \u00e1rea de armazenamento e processamento de dados. Kevin Scott, CTO na Microsoft,<\/noindex>disse uma vez : \u00abEste livro deve ser obrigat\u00f3rio para engenheiros desenvolvedores. \u00c9 um recurso raro que une teoria e pr\u00e1tica, ajudando desenvolvedores a projetar e implementar de forma mais inteligente a infraestrutura e os sistemas de processamento de dados\u00bb. Algo semelhante foi dito tamb\u00e9m pelo criador do Kafka e CTO da Confluent, Jay Kreps.<\/a><\/noindex>: \u00abEste livro deve ser obrigat\u00f3rio para engenheiros de desenvolvimento. \u00c9 um recurso raro que une teoria e pr\u00e1tica, ajudando os desenvolvedores a projetar e implementar de forma mais inteligente a infraestrutura e os sistemas de processamento de dados\u00bb. Algo semelhante foi dito pelo criador do Kafka e CTO da Confluent, Jay Kreps.<\/p>\n

<\/p>\n

Antes de se dedicar \u00e0 pesquisa acad\u00eamica, Martin trabalhou na ind\u00fastria e co-fundou duas startups de sucesso:<\/p>\n

<\/p>\n