Categoria: Administração

Apache Kafka e processamento de dados com Spark Streaming

Olá, Habr! Hoje vamos construir um sistema que irá processar fluxos de mensagens do Apache Kafka utilizando o Spark Streaming e gravar o resultado do processamento em um banco de dados na nuvem, AWS RDS. Imagine que uma instituição financeira nos designa a tarefa de processar as transações recebidas "em tempo real" em todas as suas filiais. Isso pode ser feito com o objetivo de calcular rapidamente a moeda aberta […]

O que as novas soluções de armazenamento oferecerão para sistemas de IA e ML

A MAX Data se unirá à Optane DC para um desempenho eficiente em sistemas de IA e ML. Foto — Hitesh Choudhary — Unsplash Segundo uma pesquisa da MIT Sloan Management Review e do Boston Consulting Group, 85% dos três mil gestores entrevistados acreditam que os sistemas de IA ajudarão suas empresas a ganhar vantagem competitiva no mercado. No entanto, algo semelhante foi tentado […]

Criar, Compartilhar, Colaborar

Contêineres representam uma versão leve do espaço do usuário do sistema operacional Linux – na verdade, é o "mínimo" necessário. No entanto, ainda assim é um sistema operacional completo, e a qualidade desse contêiner é tão importante quanto a de um sistema operacional robusto. É por isso que, durante muito tempo, oferecemos imagens do Red Hat Enterprise Linux (RHEL) para que os usuários possam ter um ambiente certificado e moderno […]

Fundamentos do design de banco de dados – comparação entre PostgreSQL, Cassandra e MongoDB

Olá, amigos. Antes de irmos para a segunda parte do feriado de maio, compartilhamos com vocês um material que traduzimos em preparação para o lançamento do novo fluxo do curso de "Sistemas de Banco de Dados Relacional". Os desenvolvedores de aplicativos gastam muito tempo comparando vários bancos de dados de operações para escolher o que melhor se adapta à carga de trabalho pretendida. As necessidades podem incluir modelagem de dados simplificada […]

Criação de um jogo de navegador multiplayer no estilo .io

Lançado em 2015, Agar.io se tornou o precursor de um novo gênero de jogos .io, cuja popularidade cresceu consideravelmente desde então. Eu experimentei o aumento da popularidade dos jogos .io em primeira mão: nos últimos três anos, criei e vendi dois jogos desse gênero. Para o caso de você nunca ter ouvido falar desses jogos antes: são jogos web multiplayer gratuitos, nos quais […]

Como os data centers salvam os feriados

Ao longo do ano, os russos regularmente viajam para feriados – férias de Ano Novo, feriados de maio e outros feriados menos prolongados. Este é um momento tradicional para maratonas de séries, compras espontâneas e promoções no Steam. Durante o período que antecede os feriados, o varejo e as empresas de logística enfrentam uma carga de trabalho intensa: as pessoas encomendam presentes em lojas online, pagam pela entrega, compram passagens para viagens e se comunicam. Picos do calendário […]

10. Check Point Introdução R80.20. Consciência de Identidade

Bem-vindo à aula de aniversário — 10 anos. Hoje vamos falar sobre mais uma blade da Check Point — Identity Awareness. Desde o início, ao descrever o NGFW, definimos que é crucial ter a capacidade de regular o acesso com base em contas de usuário, e não em endereços IP. Isso se deve principalmente à mobilidade crescente dos usuários e à presença generalizada […]

Princípios de funcionamento do protocolo BGP

Hoje vamos examinar o protocolo BGP. Não vamos nos alongar sobre por que ele é utilizado como o único protocolo. Há bastante informação sobre isso, por exemplo, aqui. Então, o que é o BGP? O BGP é um protocolo de roteamento dinâmico que é o único protocolo EGP (External Gateway Protocol). Este protocolo é utilizado para construir a roteação na Internet. Vamos ver como isso é feito […]

A velocidade de armazenamento é adequada para o etcd? Vamos perguntar ao fio

Uma breve história sobre fio e etcd. O desempenho do cluster etcd depende em grande parte do desempenho de seu armazenamento. O etcd exporta algumas métricas para o Prometheus, a fim de fornecer as informações necessárias sobre o desempenho do armazenamento. Por exemplo, a métrica wal_fsync_duration_seconds. Na documentação do etcd, é dito que, para que o armazenamento seja considerado suficientemente rápido, o percentil 99 dessa métrica deve ser inferior a 10 ms. Se você planeja iniciar […]

Trabalho de laboratório: configurando lvm, raid no linux

Uma pequena observação: este trabalho prático é sintético. Algumas tarefas aqui descritas podem ser realizadas de forma muito mais simples, mas como o objetivo do trabalho prático é familiarizar-se com a funcionalidade do RAID e LVM, algumas operações foram artificialmente complicadas. Requisitos para as ferramentas para a realização do trabalho prático: Ferramentas de virtualização, como o VirtualBox Imagem de instalação do Linux, por exemplo, Debian 9 Conexão à Internet para baixar alguns pacotes Acesso via SSH a […]

Maravilhas da embalagem da Microsoft: núcleo do Linux no Windows 10 e motor do IE dentro do Chromium Edge

Em sua conferência anual para desenvolvedores, a Microsoft fez várias apresentações bastante importantes. Selecionamos duas delas. Primeira: na atualização de verão 19H2, o Windows 10 terá um núcleo Linux completo baseado na versão 4.19 de 22 de outubro de 2018 para seu próprio subsistema 'Linux para Windows' (WSL - Windows Subsystem for Linux). Segunda: nas futuras versões empresariais da reencarnação do Chromium […]

Quando uma variável de ambiente acelera o processo em 40 vezes

Hoje queremos falar sobre algumas das atualizações mais recentes do sistema Sherlock [este é um cluster de alto desempenho da Universidade de Stanford - nota do tradutor], que aceleram significativamente a listagem de arquivos em diretórios com um grande número de entradas. Ao contrário de artigos convencionais, este é mais um relatório interno sobre como o trabalho regular está sendo realizado no Sherlock, para mantê-lo em seu melhor estado para nossos usuários. Esperamos […]

Compre hospedagem confiável para sites com proteção contra DDoS, servidores VPS VDS 🔥 Compre hospedagem confiável para sites com proteção contra DDoS, servidores VPS VDS | ProHoster