Автор: ProHoster

Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки данных

Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре корпоративного DWH или вашего DataLake. Речь пойдет об Apache Airflow (далее Airflow). Он несправедливо обделен вниманием на Хабре, и в основной части я попытаюсь убедить вас в том, что как минимум на Airflow стоит смотреть […]

Опыт установки Apache Airflow на Windows 10

Преамбула: волею судьбы из мира академической науки (медицины) я попала в мир информационных технологий, где мне приходится использовать свои знания о методологии построения эксперимента и стратегиях анализа экспериментальных данных, однако, применять новый для меня стек технологий. В процессе освоения этих технологий я сталкиваюсь с рядом трудностей, которые пока, к счастью, удается преодолевать. Возможно, этот пост […]

Как начать карьеру еще в вузе: рассказывают выпускники пяти профильных магистратур

На этой неделе в нашем блоге на Хабре вышла целая серия материалов о том, как проходит обучение и практика в магистратуре Университета ИТМО: Магистранты факультета ИТ и программирования делятся опытом Образовательный процесс и работа со светом в нашей магистратуре Учеба и практический опыт на факультете фотоники и оптоинформатики Фото Университета ИТМО Сегодня на очереди сразу […]

MAGMA релиз 2.5.1

MAGMA (Коллекция библиотек для линейной алгебры нового поколения для использования на GPU. Разработана и реализованна той же командой, которая разрабатывает библиотеки LAPACK и ScaLAPACK) вышел новый важный релиз 2.5.1 (2019-08-02): добавлена поддержка Turing; теперь можно собирать через cmake, для этого исправлен CMakeLists.txt для корректной установки spack; исправления для использования без FP16; улучшение компиляции на различных […]

Подробности настольной игры Darksiders: The Forbidden Land

Ранее компания THQ Nordic анонсировала настольную игру Darksiders: The Forbidden Land, которая будет продаваться только в составе коллекционного издания Darksiders Genesis Nephilim Edition. Настольная игра Darksiders: The Forbidden Land рассчитана на пятерых игроков: четырёх Всадников апокалипсиса и мастера. Это кооперативное исследование подземелий, в котором Война, Смерть, Ярость и Раздор объединяются, чтобы одолеть Тюремщика (The Jailer) […]

В Control не будет «Новой игры +» из-за малого размера команды, а фоторежим добавят после запуска

По мере того, как многие игры приближаются к запланированной дате запуска, у сообщества зачастую возникают одни и те же вопросы: например, будут ли реализованы режимы «Новая игра +», «Фото», «Испытание» или «Выживание». В разговоре с журналистами IGN директор по связям с общественностью в Remedy Томас Пуха (Thomas Puha) коснулся этих тем, заявив, что режим «Новая […]

Google тестирует технологию преобразования текста в речь в смартфонах Pixel

Сетевые источники сообщают о том, что Google добавила автоматизированную функцию преобразования текста в речь в приложении «Телефон» на устройствах Pixel. За счёт этого пользователи смогут буквально в одно касание передать информацию о своём местонахождении медицинским, пожарным или полицейским службам без необходимости использования речи. Новая функция имеет достаточно простой принцип действия. В момент совершения экстренного вызова […]

Материнская плата Biostar X570GT позволяет создать компактный ПК

Компания Biostar анонсировала материнскую плату X570GT, предназначенную для построения компьютеров на основе процессоров AMD в исполнении Socket AM4. Новинка использует набор системной логики AMD X570. Могут применяться процессоры с максимальным значением рассеиваемой тепловой энергии (показатель TDP) до 105 Вт. Поддерживается применение оперативной памяти DDR4-2933(OC)/3200(OC)/3600(OC)/4000+(OC). В системе можно задействовать до 128 Гбайт ОЗУ. Для подключения накопителей […]

Квартальный отчёт AMD: определена дата анонса 7-нм процессоров EPYC

Ещё до вступительной речи главы AMD Лизы Су (Lisa Su) на квартальной отчётной конференции было объявлено, что формальный дебют 7-нм процессоров EPYC поколения Rome намечен на седьмое августа. Эта дата вполне соответствует озвученному ранее графику, ведь AMD ранее обещала представить новые процессоры EPYC в третьем квартале. Кроме того, 27-го августа вице-президент AMD Форрест Норрод (Forrest […]

Понимая Docker

Уже несколько месяцев использую docker для структуризации процесса разработки/доставки веб-проектов. Предлагаю читателям «Хабрахабра» перевод вводной статьи о docker — «Understanding docker». Что такое докер? Докер — это открытая платформа для разработки, доставки и эксплуатации приложений. Docker разработан для более быстрого выкладывания ваших приложений. С помощью docker вы можете отделить ваше приложение от вашей инфраструктуры и […]

Habr Weekly #12 / В РФ не пустили OneWeb, вокзалы против агрегаторов, зарплаты в IT, «дорогая, мы убиваем интернет»

В этом выпуске: Спутниковой системе OneWeb не дали частот Автовокзалы восстали против билетных агрегаторов, требуя заблокировать 229 сайтов, включая BlaBlaCar и «Яндекс.Автобусы» Зарплаты в ИТ в первом полугодии 2019 года: по данным калькулятора зарплат «Моего круга» Дорогая, мы убиваем Интернет Во время разговора мы упоминали (или хотели, но забыли!) вот это: Проект «ШХД: Зима» художника […]

Асинхронное программирование в JavaScript. ( Callback, Promise, RxJs )

Всем привет. На связи Омельницкий Сергей. Не так давно я вел стрим по реактивному программированию, где рассказывал про асинхронность в JavaScript. Сегодня я бы хотел законспектировать этот материал. Но перед тем как начать основной материал нам нужно сделать вводную. Итак, давайте начнем с определений: что такое стек и очередь? Стек — это коллекция, элементы которой […]