През цялата година руснаците редовно ходят на почивки - новогодишни празници, майски празници и други по-кратки уикенди. И това е традиционното време за серийни маратони, спонтанни покупки и продажби в Steam. По време на предпразничния период търговските и логистичните компании са подложени на повишен натиск: хората поръчват подаръци от онлайн магазини, плащат за доставката им, купуват билети за пътувания и общуват. Календарните пикове в търсенето също са добър стрес тест за онлайн кина, портали за игри, видео хостинг и услуги за стрийминг на музика - всички те работят на предела на възможностите си по време на празниците.
Ще ви кажем как да осигурите непрекъсната наличност на съдържание, използвайки примера на онлайн киното Okko, което разчита на мощността на центъра за данни Linxdatacenter.
Преди това, в отговор на сезонни скокове в потреблението, беше закупено допълнително оборудване за локално разполагане и „с резерв“. Въпреки това, когато дойде „Времето H“, често се оказваше, че компаниите или не могат, или нямат време да се справят сами с правилната конфигурация на сървъри и системи за съхранение. Просто не беше възможно да се решат тези проблеми, тъй като се развиха извънредни ситуации. След известно време дойде разбиране: върховете в търсенето на съдържание и онлайн услуги се справят перфектно с помощта на ресурси на трети страни, които могат да бъдат закупени чрез модела pay-as-you-go - плащане за действително консумирания обем.
Днес почти всички компании, които предвиждат скок в търсенето на своите ресурси по време на празниците (т.нар. взрив), поръчват предварително разширяване на капацитета на комуникационния канал. Тези компании, които внедряват приложения и бази данни върху ресурсите на центровете за данни, увеличават изчислителната мощност в облаците по време на пиковите празници, като допълнително поръчват необходимите виртуални машини, капацитет за съхранение и т.н. от центровете за данни.
Как да не пропуснете марката в изчисленията
За подготовка за пикови натоварвания е важна координираната работа между доставчик и клиент. Основните моменти в тази работа включват точна прогноза за нарастване на натоварването по отношение на времето и обема, внимателно планиране и качество на взаимодействие с колегите в центъра за данни, както и с екип от ИТ специалисти от страна на доставчика на съдържание.
Редица решения спомагат за организирането на бързото разпределение на необходимите ресурси, за да се гарантира, че новият епизод на любимия ви телевизионен сериал няма да замръзне на екрана на вашия таблет.
- Първо, това са балансьори на работното натоварване: това са софтуерни решения, които внимателно следят нивото на натоварване на сървъри, системи за съхранение и мрежи, което ви позволява да оптимизирате работата на всяка система за съответната задача. Балансьорите оценяват нивото на наличност както на хардуера, така и на виртуалните машини, като предотвратяват пожертване на производителността на системата от една страна и предотвратяват „прегряване“ и забавяне на инфраструктурата, от друга. По този начин се поддържа определено ниво на резервни ресурси, които могат бързо да бъдат прехвърлени за решаване на спешни проблеми (рязък скок в заявките към портала с видео съдържание, увеличаване на поръчките за определен продукт и др.).
- Второ, CDN. Тази технология позволява на потребителите да получават съдържание от портала без забавяне на буферирането, като имат достъп до него от най-близката до потребителя географска точка. В допълнение, CDN елиминира вредното въздействие върху процесите на предаване на трафика, причинено от претоварване на канала, прекъсване на връзката, загуба на пакети при кръстовища на канали и др.
Всевиждащ Окко
Нека да разгледаме пример за подготовката на онлайн кино Okko за празниците, използвайки нашите сайтове в Москва и Санкт Петербург.
Според Алексей Голубев, технически директор на Okko, в компанията, в допълнение към календарните празници (висок сезон), има периоди, в които излизат големи филмови издания от големи специалности:
„Всяка година по време на празничния сезон обемът на трафика на Okko приблизително се удвоява в сравнение с предходната година. И така, ако през миналия новогодишен сезон максималното пиково натоварване беше 80 Gbit/s, то през 2018/19 очаквахме 160 – традиционното двойно увеличение. Ние обаче получихме повече от 200 Gbit/s!”
Okko винаги се подготвя за пиково натоварване бавно, през цялата година, като част от проект с кодово име „Нова година“. Преди това Okko използва собствена инфраструктура; компанията има собствен клъстер за доставка на съдържание, на собствен хардуер и със собствен софтуер. В течение на годината техническите специалисти на Okko постепенно закупиха нови сървъри и увеличиха пропускателната способност на своя клъстер, като очакваха удвояване на годишния растеж. Освен това бяха свързани нови възходящи връзки и оператори - в допълнение към големите играчи като Rostelecom, Megafon и MTS, точките за обмен на трафик и най-малките оператори също бяха свързани. Този подход направи възможно предоставянето на услугата на максимален брой клиенти по най-краткия маршрут.
Миналата година, след като анализира разходите за оборудване, разходите за труд за разширяване и ги сравнява с разходите за използване на CDN на трети страни, Okko осъзна, че е време да опита хибриден модел на разпространение. След двойния ръст по време на новогодишните празници, има спад на трафика, а февруари е най-слабият сезон. И се оказва, че оборудването ви не работи в този момент. До лятото спадът се изравнява, а до есенния сезон започва ново покачване. Ето защо, в подготовка за новата 2019 г., Okko пое по различен път: те модифицираха своя софтуер, за да могат да разпределят натоварването не само върху себе си, но и върху външни CDN (мрежа за доставка на съдържание). Бяха свързани две такива CDN, в които излишният трафик беше „слят“. Вътрешната честотна лента на ИТ инфраструктурата на Okko беше готова да издържи на същия двоен ръст, но в случай на преизпълнение на ресурси бяха подготвени партньорски CDN.
„Решението да не разширява своята CDN спести на Okko около 20% от бюджета си за разпространение в CAPEX. Освен това компанията спести няколко човекомесеца, като прехвърли работата по настройката на оборудването върху плещите на партньора.“ — коментира Алексей Голубев.
Клъстерът за разпространение (вътрешен CDN) в Okko е внедрен в два сайта на Linxdatacenter в Москва и Санкт Петербург. Осигурено е пълно дублиране както на съдържанието, така и на неговото кеширане (разпределителни възли). Съответно центърът за данни в Москва обработва Москва и няколко региона на Русия, а центърът за данни в Санкт Петербург обработва Северозападната и останалата част от страната. Балансирането се извършва не само на регионална основа, но и в зависимост от натоварването на възлите в конкретен център за данни; присъствието на филма в кеша и редица други фактори също се вземат предвид.
Разширената архитектура на услугата изглежда така на диаграмата:
Физически поддръжката за обслужване и разработване на продукти се състои от около десет стелажа в Санкт Петербург и няколко стелажа в Москва. Има няколко дузини сървъри за виртуализация и почти двеста „хардуерни“ сървъра за всичко останало - разпространение, сервизна поддръжка и собствена инфраструктура на офиса. Взаимодействието на доставчика на съдържание с центъра за данни по време на периоди на пиково натоварване не се различава от текущата работа. Цялата комуникация е ограничена до заявка до службата за поддръжка и в случай на спешност чрез обаждане.
Днес ние сме по-близо от всякога до сценарий за наистина 100% непрекъснато потребление на онлайн съдържание, тъй като всички технологии, необходими за това, вече са налични. Развитието на онлайн стрийминг се случва много бързо. Популярността на легалните модели за потребление на съдържание нараства: руските потребители постепенно започват да свикват с факта, че трябва да плащат за съдържание. При това не само за кино, но и за музика, книги и образователни материали в Интернет. И в тази връзка доставката на най-разнообразно съдържание и с най-ниски мрежови забавяния е най-важният критерий при работата на онлайн услугите. А нашата задача, като доставчик на услуги, е да отговаряме на потребностите от ресурси навреме и с резерви.
Източник: www.habr.com