🥇«Мат. модель с Уолл-стрит» или попытка оптимизировать затраты на облачную ИТ-инфраструктуру

Инженеры из MIT разработали математическую модель, которая может увеличить производительность сетей IaaS-провайдеров. В ее основу легли некоторые подходы, используемые профессиональными инвесторами. Расскажем подробнее об этом под катом.

Фото — Chris Li — Unsplash

Проблема энергопотребления

Дата-центры потребляют почти 5% всей генерируемой на планете электроэнергии. И эта цифра с каждым годом только увеличивается. Среди причин эксперты выделяют рост объемов обрабатываемых данных и неэффективное расходование сетевых ресурсов.

Многие линки между современными дата-центрами загружены лишь частично или вообще находятся в резерве. Такой подход позволяет справляться с резкими скачками трафика, если где-то в сети случается обрыв. Но есть и недостаток — в результате часть сетевого оборудования простаивает и вхолостую потребляет электричество.

Решением проблемы занялись в MIT и Microsoft. Они разработали новую математическую модель TEAVAR, которая оптимизирует передачу трафика в глобальных сетях. Они применили подходы, которыми пользуются инвесторы на Уолл-стрит (стр.3).

Причем здесь Уолл-стрит

Инженеры черпали вдохновение в теории финансовых рисков. Она помогает инвесторам максимизировать свои доходы. В экономике есть такой термин, как «условное значение риска» (VaR), — он определяет сумму, которой с заданной вероятностью рискует инвестор. Например, если значение риска с уровнем доверия в 99% равняется 50 долларам, то инвестор потеряет эти деньги в 1% случаев. Аналогично: объем данных, транслируемый по сети за фиксированный промежуток времени, посчитали инвестициями, а сетевое оборудование с различной вероятностью отказа — активами. На основании этого родилась идея — спроектировать систему, которая максимизирует передачу трафика через каналы с уровнем доверия 99,9%.

Чтобы воплотить ее в жизнь, специалисты собрали данные за три года о стабильности линков в сетях Microsoft, а затем оценили вероятность сбоя для каждого из них.

Как строилась модель

Сперва топологию сети ИТ-компании представили в виде графа. Узлы представляли собой города, а ребра — каналы передачи данных их соединяющие. Далее, состояние выделенных на схеме линков проверялось каждые 15 минут. Если качество сигнала падало ниже установленной отметки (например, возникало большое количество ошибок или задержка превышала допустимые пределы), то канал считался вышедшим из строя. Собрав всю необходимую информацию, инженеры вычислили среднее время работы каждого канала и оценили вероятность его отказа за пятнадцатиминутный отрезок. В результате появилась возможность предсказывать момент, когда выйдет из строя та или иная линия передачи данных.

На основании математической модели представили балансировщик нагрузки, который распределяет трафик в сети с учетом «надежности» каналов передачи данных. Балансировщик передан в open source — код есть на GitHub, также на сайте MIT есть демо.

Перспективы

По словам разработчиков, TEAVAR эффективно избегает «слабых» каналов и отправляет все данные по надежным линкам, повышая их эффективную загруженность. По сравнению с аналогичными системами, это решение позволяет передавать в три раза больше данных по сети. Тесты проводились на ИТ-инфраструктуре таких копаний, как Google, IBM и AT&T.

Фото — Victorgrigas — CC BY-SA

Ожидается, что TEAVAR поможет сократить энергопотребление дата-центров. Оптимизация трафика позволит облачным провайдерам отказаться от части серверного и сетевого оборудования. В ЦОД уменьшится количество машин, которые работают вхолостую, что снизит средний размер чека за электричество.

Представитель компании-разработчика программного обеспечения для организаций TIBCO, которая сотрудничает с MIT, говорит, что эффект от экономии прочувствуют на себе и клиенты IaaS-провайдеров. Последние смогут направить высвободившиеся средства на разработку новых сервисов и повышение качества обслуживания.

О чем мы пишем в наших блогах и социальных сетях:

Open source: разработчик видеокарт раскрыл документацию для драйверов под Linux
Как оценить производительность Linux-сервера: открытые инструменты для бенчмаркинга

Как защитить виртуальный сервер в интернете
Резервное копирование файлов: как подстраховаться от потери данных

Backlog Grooming: экономим время на переделках
MVP и RAT: как эволюционируют подходы к разработке