Категория: Администриране

Apache Kafka и потоковая обработка данных с помощью Spark Streaming

Привет, Хабр! Сегодня мы построим систему, которая будет при помощи Spark Streaming обрабатывать потоки сообщений Apache Kafka и записывать результат обработки в облачную базу данных AWS RDS. Представим, что некая кредитная организация ставит перед нами задачу обработки входящих транзакций «на лету» по всем своим филиалам. Это может быть сделано с целью оперативного расчета открытой валютой […]

Что предложат новые хранилища для систем ИИ и МО

MAX Data объединят с Optane DC для эффективной работы с системами ИИ и МО. Фото — Hitesh Choudhary — Unsplash По данным исследования MIT Sloan Management Review и The Boston Consulting Group, 85% из трех тысяч опрошенных управленцев считают, что системы ИИ помогут их компаниям получить конкурентное преимущество на рынке. Однако что-то подобное пробовали реализовывать […]

Build, Share, Collaborate

Контейнеры представляют собой облегченную версию пользовательского пространства операционной системы Linux – фактически, это «голый» минимум. Тем не менее, это все равно полноценная операционная система, и поэтому качество этого самого контейнера так же важно, как полновесной операционной системы. Именно поэтому долгое время мы предлагали образы Red Hat Enterprise Linux (RHEL), чтобы пользователи могли иметь сертифицированные, современные […]

Основы проектирования баз данных – сравнение PostgreSQL, Cassandra и MongoDB

Здравствуйте, друзья. Перед уходом на вторую часть майских праздников делимся с вами материалом, который мы перевели в преддверии запуска нового потока по курсу «Реляционные СУБД». Разработчики приложений тратят много времени на сравнение нескольких операционных баз данных, чтобы выбрать ту, которая лучше всего подойдет для предполагаемой рабочей нагрузки. Потребности могут включать в себя упрощенное моделирование данных, […]

Создание многопользовательской веб-игры в жанре .io

Вышедшая в 2015 году Agar.io стала прародителем нового жанра игр .io, популярность которого с тех пор сильно возросла. Рост популярности игр .io я испытал на себе: за последние три года я создал и продал две игры этого жанра.. На случай, если вы никогда раньше не слышали о таких играх: это бесплатные многопользовательские веб-игры, в которых […]

Как дата-центры спасают праздники

В течение года россияне регулярно отправляются на праздники – новогодние каникулы, майские и другие менее продолжительные выходные. А это традиционное время для сериальных марафонов, спонтанных покупок и распродаж на Steam.  В предпраздничный период повышенную нагрузку испытывает ретейл и логистические компании: люди заказывают подарки в Интернет-магазинах, оплачивают их доставку, покупают билеты для поездок, общаются. Календарные пики […]

10. Check Point Getting Started R80.20. Identity Awareness

Добро пожаловать на юбилейный — 10-й урок. И сегодня мы поговорим о еще одном блейде Check Point — Identity Awareness. Еще в самом начале, при описании NGFW, мы определили, что для него обязательна возможность регулирования доступа на основе учетных записей, а не IP-адресов. Связано это в первую очередь с повышенной мобильностью пользователей и повсеместным распространением […]

Принципы работы протокола BGP

Сегодня мы рассмотрим протокол BGP. Не будем долго говорить зачем он и почему он используется как единственный протокол. Довольно много информации есть на этот счет, например тут. Итак, что такое BGP? BGP — это протокол динамической маршрутизации, являющийся единственным EGP( External Gateway Protocol) протоколом. Данный протокол используется для построение маршрутизации в интернете. Рассмотрим как строится […]

Скорость хранилища подходит для etcd? Спросим fio

Короткая история о fio и etcd Производительность кластера etcd во многом зависит от производительности его хранилища. etcd экспортирует некоторые метрики в Prometheus, чтобы предоставить нужные сведения о производительности хранилища. Например, метрику wal_fsync_duration_seconds. В документации к etcd сказано: чтобы хранилище считалось достаточно быстрым, 99-й процентиль этой метрики должен быть меньше 10 мс. Если вы планируете запустить […]

Лабораторная работа: настраиваем lvm, raid на linux

Небольшое отступление: данная лр является синтетической. Некторые задания которые здесь описаны можно сделать гораздо проще, но поскольку задача л/р — познакомиться с функционалом raid, lvm то некоторые операции искуственно усложнены. Требования к инструментам для выполнения лр: Средства виртуализации, например Virtualbox Установочный образ linux, например Debian9 Наличие интернета для скачивания нескольких пакетов Подключение по ssh к […]

Чудеса упаковки от Microsoft: ядро Linux в Windows 10 и движок IE внутри Chromium Edge

На своей ежегодной конференции для разработчиков компания Microsoft сделала сразу несколько достаточно важных презентаций. Мы выбрали две из них. Первое: в летней сборке 19H2 Windows 10 будет поставляться полноценное Linux-ядро на базе версии 4.19 от 22 октября 2018 года для собственной подсистемы «Linux для Windows» (WSL — Windows Subsystem Linux). Второе: в будущие энтерпрайз-сборки Chromium-реинкарнации […]

Когда переменная среды ускоряет процесс в 40 раз

Сегодня мы хотим рассказать о некоторых последних апдейтах системы Sherlock [это высокопроизводительный кластер Стэнфордского университета — прим. пер.], которые значительно ускоряют листинг файлов в каталогах с большим количеством записей. В отличие от обычных статей, это скорее инсайдерский отчёт о том, как происходит регулярная работа над Sherlock, чтобы поддерживать его в наилучшем виде для наших пользователей. Надеемся […]

Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри 🔥 Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри | ProHoster