Инфрасохтори муосир: мушкилот ва дурнамо

Инфрасохтори муосир: мушкилот ва дурнамо

Дар охири моҳи май мо ҳастем оид ба мавзуъ вохӯрии онлайн баргузор намуд "Инфраструктураи замонавӣ ва контейнерҳо: мушкилот ва дурнамо". Мо дар бораи контейнерҳо, Кубернетҳо ва оркестрҳо, меъёрҳои интихоби инфрасохтор ва ғайра сӯҳбат кардем. Иштирокчиён аз таҷрибаи худ нақл карданд.

Иштирокчиён:

  • Евгений Потапов, директори генералии ITSumma. Зиёда аз нисфи муштариёни он аллакай ҳаракат мекунанд ё мехоҳанд ба Kubernetes гузаранд.
  • Дмитрий Столяров, КТО "Флант". Таҷрибаи зиёда аз 10 сол бо системаҳои контейнерӣ дорад.
  • Денис Ремчуков (бо номи Эрик Олдманн), COO argotech.io, собиқ RAO EES. Ӯ ваъда дод, ки дар бораи парвандаҳо дар корхонаи "хундор" ҳарф мезанад.
  • Андрей Федоровский, директори генералии "News360.com"Пас аз харидани ширкат аз ҷониби як бозигари дигар, ӯ барои як қатор лоиҳаҳо ва инфрасохтори ML ва AI масъул аст.
  • Иван Круглов, муҳандиси системаҳои собиқ Booking.com.Ҳамон шахсе, ки бо дасти худ бо Кубернетес бисёр кор кардааст.

Мавзӯъҳо:

  • Андешаҳои иштирокчиён дар бораи контейнерҳо ва оркестр (Docker, Kubernetes ва ғайра); ки дар амал озмуда ё тахлил карда шуд.
  • Ҳодиса: Ширкат дар тӯли солҳо нақшаи рушди инфрасохторро таҳия мекунад. Қарор дар бораи сохтан (ё интиқол додани инфрасохтори ҷорӣ) ба контейнерҳо ва Кубер чӣ гуна қабул карда мешавад ё не?
  • Мушкилот дар ҷаҳони абрӣ, чӣ намерасад, биёед тасаввур кунем, ки фардо чӣ мешавад.

Баҳси ҷолибе сурат гирифт, ки андешаҳои ширкаткунандагон он қадар гуногун буданд ва боиси шарҳу эзоҳҳои зиёд шуданд, ки мехостам онҳоро бо шумо бигӯям. Бихӯред видеои се соат, ва дар зер мухтасари мубохиса оварда шудааст.

Оё Kubernetes аллакай маркетинги стандартӣ ё олӣ аст?

«Мо ба он (Кубернетес. — Ред.) вакте омадем, ки то хол касе дар ин бора хабар надошт. Мо ба наздаш омадем, ҳатто вақте ки ӯ дар он ҷо набуд. Мо инро пештар мехостем" - Дмитрий Столяров

Инфрасохтори муосир: мушкилот ва дурнамо
Акс аз Reddit.com

5—10 сол пеш аз ин шумораи зиёди асбобхо мавчуд буданд ва стандарти ягона вучуд надошт. Ҳар шаш моҳ як маҳсулоти нав пайдо шуд, ё ҳатто бештар аз як. Аввал овора, баъд Намак, ошпаз, лӯхтак,... “ва шумо инфрасохтори худро ҳар шаш моҳ аз нав месозед. Шумо панҷ маъмур доред, ки пайваста бо навиштани конфигуратсияҳо банд ҳастанд," ба ёд меорад Андрей Федоровский. Вай бовар дорад, ки Докер ва Кубернетес боқимондаҳоро "ғундоштаанд". Docker дар панҷ соли охир ба стандарт табдил ёфт, Kubernetes дар ду соли охир. Ва ин барои саноат хуб аст..

Дмитрий Столяров ва дастаи ӯ Куберро дӯст медоранд. Онҳо пеш аз пайдо шудани он чунин асбобро мехостанд ва дар ҳоле ба он омаданд, ки касе аз он хабар надошт. Дар айни замон, бо сабабҳои роҳат, онҳо муштариро қабул намекунанд, агар онҳо фаҳманд, ки Kubernetes-ро бо ӯ татбиқ нахоҳанд кард. Ҳамзамон, ба гуфтаи Дмитрий, ширкат "бисёр ҳикояҳои азими муваффақият дар бораи барқарор кардани мероси даҳшатовар" дорад.

Kubernetes на танҳо оркестри контейнерӣ, балки як системаи идоракунии конфигуратсия бо API таҳияшуда, ҷузъи шабакавӣ, мувозинат L3 ва контроллерҳои Ingress мебошад, ки идоракунии захираҳо, миқёс ва абстрактиро аз қабатҳои поёнии инфрасохтор нисбатан осон мекунад.

Мутаассифона, дар ҳаёти мо мо бояд ҳама чизро пардохт кунем. Ва ин андоз калон аст, хусусан агар мо дар бораи гузариш ба Kubernetes як ширкати дорои инфрасохтори пешрафта сухан ронем, чунон ки Иван Круглов бовар дорад. Вай метавонист ҳам дар як ширкати дорои инфрасохтори анъанавӣ ва ҳам бо Кубер озодона кор кунад. Хӯроки асосии он аст, ки дарки хусусиятҳои ширкат ва бозор. Аммо, масалан, барои Евгений Потапов, ки Кубернетесро ба ягон асбоби оркестрсозии контейнерӣ умумӣ мекунад, чунин савол ба миён намеояд.

Евгений бо вазъияти солхои 1990-ум, ки барномасозии ба объект нигаронидашуда хамчун воситаи барномасозии замимахои мураккаб пайдо шуд, аналогия овард. Дар он вақт, баҳс идома ёфт ва воситаҳои нав барои дастгирии OOP пайдо шуданд. Сипас микросервисҳо ҳамчун роҳи дур шудан аз консепсияи монолитӣ пайдо шуданд. Ин, дар навбати худ, ба пайдоиши контейнерҳо ва воситаҳои идоракунии контейнерҳо оварда расонд. "Ман фикр мекунам, ки мо ба зудӣ ба замоне мерасем, ки дар бораи навиштани як барномаи хурди хидматрасонии хурд саволе нахоҳад буд, ки он ба таври нобаёнӣ ҳамчун микросервис навишта мешавад" гуфт ӯ. Ба ҳамин монанд, Docker ва Kubernetes дар ниҳоят бидуни ниёз ба интихоб ҳалли стандартӣ хоҳанд шуд.

Проблемаи базаи маълумотҳо дар шахсони бешаҳрванд

Инфрасохтори муосир: мушкилот ва дурнамо
Аксҳо аз ҷониби Twitter: @jankolario дар Unsplash

Имрӯзҳо дар Кубернетес дастурҳои зиёде барои идора кардани пойгоҳи додаҳо мавҷуданд. Ҳатто чӣ тавр ҷудо кардани қисме, ки бо диски воридотӣ / баромад кор мекунад, аз қисмати барномаи пойгоҳи додаҳо шартан ҷудо карда мешавад. Оё мумкин аст, ки дар оянда пойгоҳи додаҳо он қадар тағир ёбад, ки онҳо дар қуттӣ интиқол дода шаванд, ки дар он як қисм тавассути Docker ва Kubernetes ташкил карда мешавад ва дар қисми дигари инфрасохтор тавассути нармафзори алоҳида, қисми нигоҳдорӣ таъмин карда мешавад. ? Оё асосҳо ҳамчун маҳсулот тағир меёбанд?

Ин тавсиф ба идоракунии навбат монанд аст, аммо талабот ба эътимоднокӣ ва ҳамоҳангсозии иттилоот дар пойгоҳи додаҳои анъанавӣ хеле баландтар аст, ба эътиқоди Андрей. Таносуби зарбаи кэш дар пойгоҳи додаҳои муқаррарӣ 99% боқӣ мемонад. Агар коргар поин равад, наваш ба кор медарояд ва кэш аз сифр «гарм мешавад». То он даме, ки кэш гарм нашавад, коргар оҳиста кор мекунад, яъне онро бо бори корбар бор кардан мумкин нест. Дар ҳоле ки сарбории корбар вуҷуд надорад, кэш гарм намешавад. Ин як доираест.

Дмитрий ба таври куллӣ розӣ нест - кворумҳо ва шарикӣ мушкилотро ҳал мекунанд. Аммо Андрей исрор мекунад, ки ҳалли ин масъала барои ҳама мувофиқ нест. Дар баъзе ҳолатҳо, кворум мувофиқ аст, аммо он ба шабака бори иловагӣ мегузорад. Пойгоҳи NoSQL дар ҳама ҳолатҳо мувофиқ нест.

Иштироккунандагони вохурй ба ду лагерь таксим шуданд.

Денис ва Андрей баҳс мекунанд, ки ҳама чизеро, ки ба диск навишта мешавад - пойгоҳи додаҳо ва ғайра - дар экосистемаи кунунии Кубер иҷро кардан ғайриимкон аст. Дар Кубернетес беайбӣ ва мувофиқати маълумоти истеҳсолиро нигоҳ доштан ғайриимкон аст. Ин хусусияти асосист. Ҳалли: инфрасохтори гибридӣ.

Ҳатто пойгоҳи додаҳои муосири абрӣ ба монанди MongoDB ва Cassandra ё навбатҳои паёмҳо ба монанди Кафка ё RabbitMQ, берун аз Кубернетес захираҳои доимии маълумотро талаб мекунанд.

Евгений эътироз мекунад: "Пойгоҳҳо дар Кубера осеби наздик ба Русия ё наздик ба корхона мебошанд, ки бо он аст, ки дар Русия ҳеҷ гуна қабули абрӣ вуҷуд надорад." Ширкатҳои хурд ё миёна дар Ғарб Cloud мебошанд. Истифодаи пойгоҳи додаҳои Amazon RDS нисбат ба худкор бо Кубернетес осонтар аст. Дар Русия, вақте ки онҳо кӯшиш мекунанд, ки аз боғи ҳайвонот халос шаванд, Куберро "дар бино" истифода мебаранд ва пойгоҳҳоро ба он интиқол медиҳанд.

Дмитрий инчунин бо изҳороте, ки дар Кубернетес ягон пойгоҳи додаҳо нигоҳ дошта намешавад, розӣ нест: “Пойгоҳ аз пойгоҳ фарқ мекунад. Ва агар шумо як пойгоҳи бузурги релятсионӣ пахш кунед, пас дар ҳеҷ сурат. Агар шумо як чизи хурд ва абрии модариро тела диҳед, ки аз ҷиҳати рӯҳонӣ барои ҳаёти нимэфемерӣ омода шудааст, ҳама чиз хуб мешавад." Дмитрий инчунин қайд кард, ки воситаҳои идоракунии пойгоҳи додаҳо барои Docker ё Kuber омода нестанд, аз ин рӯ мушкилоти бузург ба миён меоянд.

Иван, дар навбати худ, итминон дорад, ки ҳатто агар мо аз мафҳумҳои давлатӣ ва бешаҳрвандӣ абстракт кунем, экосистемаи қарорҳои корхона дар Кубернетес ҳанӯз омода нест. Бо Kuber, риояи талаботи қонунгузорӣ ва танзимкунанда душвор аст. Масалан, то сахтафзоре, ки ба серверҳо ворид карда шудааст, як ҳалли таъмини шахсият имконнопазир аст, ки дар он кафолати мушаххаси сервер талаб карда мешавад. Ин соха ривоч ёфта истодааст, вале хануз хале нест.
Иштирокчиён натавонистанд ба тавофуқ бирасанд, аз ин рӯ дар ин бахш хулоса бароварда намешавад. Як-ду мисоли амалй меорем.

Парвандаи 1. Киберамнияти "мега-танзимкунанда" бо пойгоҳҳои берун аз Кубера

Дар сурати системаи пешрафтаи киберамният, истифодаи контейнерҳо ва оркестр имкон медиҳад, ки бо ҳамлаҳо ва ҳамлаҳо мубориза баранд. Масалан, дар як танзимгари мега, Денис ва дастаи ӯ маҷмӯи оркестрро бо хидмати омӯзонидашудаи SIEM амалӣ карданд, ки гузоришҳоро дар вақти воқеӣ таҳлил мекунад ва раванди ҳамла, ҳакерӣ ё нокомиро муайян мекунад. Дар сурати ҳамла, кӯшиши ҷойгир кардани чизе ё дар ҳолати ҳамлаи вируси ransomware, он тавассути оркестр контейнерҳоро бо барномаҳо зудтар аз сироят шуданашон ё зудтар аз ҳамлаи ҳамлакунанда мегирад.

Парвандаи 2. Муҳоҷирати қисман аз пойгоҳи додаҳои Booking.com ба Kubernetes

Дар Booking.com базаи асосии базаи MySQL бо репликатсияи асинхронӣ мебошад - устод ва тамоми иерархияи ғуломон мавҷуд аст. Вақте ки Иван аз ширкат хориҷ шуд, лоиҳаи интиқоли ғуломон оғоз шуд, ки бо зарари муайян "паррондан" мешаванд.

Илова ба пойгоҳи асосӣ, як насби Кассандра бо оркестри худнавис мавҷуд аст, ки ҳатто пеш аз ворид шудани Кубер ба ҷараёни асосӣ навишта шудааст. Дар ин бора мушкилот вуҷуд надорад, аммо он дар SSD-ҳои маҳаллӣ устувор аст. Нигоҳдории дурдаст, ҳатто дар дохили як маркази додаҳо, аз сабаби мушкилоти таъхири баланд истифода намешавад.

Синфи сеюми пойгоҳи додаҳо хидмати ҷустуҷӯии Booking.com мебошад, ки дар он ҳар як гиреҳи хидматрасонӣ пойгоҳи додаҳост. Кӯшишҳои интиқоли хидмати ҷустуҷӯ ба Kuber ноком шуданд, зеро ҳар як гиреҳ 60-80 ГБ нигаҳдории маҳаллӣ дорад, ки "бардоштан" ва "гарм кардан" душвор аст.

Дар натиҷа, системаи ҷустуҷӯӣ ба Кубернетес интиқол дода нашуд ва Иван фикр намекунад, ки дар ояндаи наздик кӯшишҳои нав хоҳанд буд. Пойгоҳи додаҳои MySQL дар нисфи интиқол дода шуд: танҳо Ғуломон, ки аз "паррондан" наметарсанд. Кассандра ба таври комил ҷойгир шудааст.

Интихоби инфрасохтор ҳамчун вазифа бидуни ҳалли умумӣ

Инфрасохтори муосир: мушкилот ва дурнамо
Аксҳо аз ҷониби Мануэл Гейсингер аз Pexels

Фарз мекунем, ки мо як ширкати нав дорем, ё ширкате дорем, ки як қисми инфрасохтор бо усули кӯҳна сохта шудааст. Он нақшаи рушди инфрасохторро барои солҳо месозад. Қарор дар бораи сохтани инфрасохтор дар контейнерҳо ва Кубер чӣ гуна қабул карда мешавад ё не?

Ширкатҳое, ки барои наносонияҳо мубориза мебаранд, аз муҳокима хориҷ карда мешаванд. Консерватизми солим аз ҷиҳати эътимоднокӣ фоида меорад, аммо ҳанӯз ҳам ширкатҳое ҳастанд, ки бояд равишҳои навро баррасӣ кунанд.

Иван: "Ман бешубҳа ҳоло як ширкатро дар абр оғоз мекунам, зеро он тезтар аст", гарчанде ки ҳатман арзонтар нест. Бо рушди капитализми венчурӣ, стартапҳо бо пул мушкилоти калон надоранд ва вазифаи асосӣ забт кардани бозор аст.

Иван чунин мешуморад инкишофи инфраструктураи хозира меъёри интихоб мебошад. Агар дар гузашта сармояи ҷиддие вуҷуд дошта бошад ва он кор кунад, пас аз нав сохтани он фоидае надорад. Агар инфрасохтор таҳия нашуда бошад ва мушкилот бо асбобҳо, амният ва мониторинг вуҷуд дошта бошад, пас ба инфрасохтори тақсимшуда назар кардан маъно дорад.

Андоз бояд дар ҳар сурат пардохт шавад ва Иван ҳамонеро мепардозад, ки дар оянда ба ӯ камтар пардохт мекард. "Зеро танҳо аз сабаби он, ки ман дар қаторе савор мешавам, ки дигарон ҳаракат мекунанд, ман назар ба он ки дар қатори дигар шинам, ки ман бояд худам сӯзишворӣ гузорам, хеле дуртар сафар мекунам."мегӯяд Иван. Вақте ки ширкат нав аст ва талаботи таъхир даҳҳо миллисония аст, он гоҳ Иван ба "операторҳо" менигарист, ки имрӯз дар онҳо пойгоҳи додаҳои классикӣ "печонида шудаанд". Онҳо як занҷири репликатсияро ба вуҷуд меоранд, ки дар ҳолати нокомӣ ва ғайра худашро иваз мекунад...

Барои як ширкати хурде, ки якчанд сервер дорад, Кубера маъно надорад ”мегӯяд Андрей. Аммо агар он нақша дорад, ки ба садҳо серверҳо ё бештар аз он афзоиш ёбад, пас он ба автоматизатсия ва системаи идоракунии захираҳо ниёз дорад. 90% ҳолатҳо арзиши арзиш доранд. Зиёда аз он, сарфи назар аз дарачаи сарборй ва захирахо. Барои ҳама, аз стартапҳо то ширкатҳои бузург бо аудиторияи миллионҳо, тадриҷан ба маҳсулоти оркестрсозии контейнерҳо назар кардан маъно дорад. «Бале, ин воқеан оянда аст», - боварӣ дорад Андрей.

Денис ду меъёри асосиро қайд кард - миқёспазирӣ ва устувории амалиёт. Вай асбобҳоеро интихоб мекунад, ки барои ин вазифа беҳтарин мувофиқанд. "Ин метавонад номе бошад, ки дар зонуҳои шумо ҷамъ карда шудааст ва дар он Nutanix Community Edition дорад. Ин метавонад як сатри дуюм дар шакли замима дар Kuber бо пойгоҳи додаҳо дар пушти сар бошад, ки такрор карда мешавад ва параметрҳои RTO ва RPO-ро муайян кардааст" (вақти барқарорсозӣ / ҳадафҳои нуқта - тақрибан.).

Евгений проблемаи имконпазирро бо кадрхо муайян кард. Дар айни замон дар бозор мутахассисони баландихтисос кам нестанд, ки «руда»-ро мефахманд. Воқеан, агар технологияи интихобшуда кӯҳна бошад, пас гайр аз одамони миёнасоле, ки аз зиндагӣ дилгир ва хаста шудаанд, ба кор қабул кардан душвор аст. Ҳарчанд дигар ширкаткунандагон бар ин назаранд, ки ин масъалаи тарбияи кадрҳост.
Агар мо саволи интихобро ба миён гузорем: як ширкати хурд дар абрҳои оммавӣ бо пойгоҳи додаҳо дар Amazon RDS ё "дар бино" бо пойгоҳи додаҳо дар Кубернетес, пас сарфи назар аз баъзе камбудиҳо, Amazon RDS интихоби иштирокчиён гардид.

Азбаски аксарияти шунавандагони вохӯрӣ аз корхонаи "хундор" нестанд, пас ҳалли тақсимшуда он чизест, ки мо бояд барои он саъй кунем. Системаҳои нигоҳдории маълумот бояд тақсим карда шаванд, боэътимод бошанд ва таъхирро бо воҳидҳои миллисонияҳо, ҳадди аксар даҳҳо чен карда шаванд.", - хулоса кард Андрей.

Арзёбии истифодаи Kubernetes

Шунаванда Антон Жбанков ба апологхои Кубернетес саволи доманадор дод: шумо асосхои техникй-иктисодиро чй тавр интихоб кардед ва гузаронд? Чаро Kubernetes, чаро мошинҳои виртуалӣ не, масалан?

Инфрасохтори муосир: мушкилот ва дурнамо
Аксҳо аз ҷониби Татьяна Еремина дар Unsplash

Дмитрий ва Иван ба он ҷавоб доданд. Дар ҳарду ҳолат, тавассути озмоиш ва хатогӣ, пайдарпай қарорҳо қабул карда шуданд, ки дар натиҷа ҳарду иштирокчӣ ба Кубернетес расиданд. Ҳоло корхонаҳо мустақилона нармафзореро таҳия мекунанд, ки интиқол ба Kuber маъно дорад. Мо дар бораи системаҳои классикии сеюм сухан намегӯем, ба монанди 1C. Кубернетес вақте кӯмак мекунад, ки таҳиягарон бояд бо такмили доимии бефосила релизҳоро зуд бароранд.

Дастаи Андрей кӯшиш кард, ки кластери миқёспазирро дар асоси мошинҳои виртуалӣ созад. Гиреҳҳо мисли домино афтода, баъзан боиси фурӯпошии кластер мешуданд. “Аз ҷиҳати назариявӣ, шумо метавонед онро ба итмом расонед ва онро бо дастони худ дастгирӣ кунед, аммо ин дилгиркунанда аст. Ва агар дар бозор як роҳи ҳалли он мавҷуд бошад, ки ба шумо имкон медиҳад, ки аз қуттӣ кор кунед, пас мо аз он хурсандем. Ва дар натиҷа мо иваз шудем, ”мегӯяд Андрей.

Стандартҳои чунин таҳлил ва ҳисобкунӣ вуҷуд доранд, аммо ҳеҷ кас наметавонад бигӯяд, ки онҳо дар сахтафзори воқеии амалкунанда то чӣ андоза дақиқанд. Барои ҳисобҳо, фаҳмидани ҳар як асбоб ва экосистема низ муҳим аст, аммо ин имконнопазир аст.

Моро чй интизор аст

Инфрасохтори муосир: мушкилот ва дурнамо
Аксҳо аз ҷониби Дрю Бимер дар Unsplash

Вақте ки технология таҳаввул меёбад, қисмҳои гуногун ва бештар ба назар мерасанд ва сипас гузариши марҳила ба амал меояд, фурӯшанда пайдо мешавад, ки хамири кофӣ куштааст, то ҳама чиз дар як асбоб ҷамъ шавад.

Ба фикри шумо, замоне фаро мерасад, ки асбобе ба монанди Ubuntu барои ҷаҳони Linux пайдо мешавад? Шояд як воситаи ягонаи контейнерсозӣ ва оркестрсозӣ Kuber-ро дар бар гирад. Он сохтани абрҳоро дар дохили бино осон мекунад.

Ҷавобро Иван дод: "Google ҳоло Anthos-ро сохта истодааст - ин пешниҳоди бастабандии онҳост, ки абрро ҷойгир мекунад ва Kuber, Service Mesh, мониторингро дар бар мегирад - тамоми сахтафзоре, ки барои микросервисҳои маҳаллӣ заруранд." Мо қариб дар оянда ҳастем."

Денис инчунин Nutanix ва VMWare-ро бо маҳсулоти vRealize Suite ёдовар шуд, ки метавонанд бидуни контейнерсозӣ бо як вазифаи шабеҳ тоб оранд.

Дмитрий ба ақидаи худ нақл кард, ки кам кардани "дард" ва кам кардани андозҳо ду самтест, ки мо метавонем беҳбудиро интизор шавем.

Барои ҷамъбасти муҳокима, мо мушкилоти зерини инфрасохтори муосирро қайд мекунем:

  • Се иштирокчӣ дарҳол мушкилотро бо ҳолати давлатӣ муайян карданд.
  • Масъалаҳои гуногуни дастгирии амният, аз ҷумла эҳтимолияти он, ки Docker бо версияҳои сершумори Python, серверҳои барномаҳо ва ҷузъҳо хотима меёбад.
    Харочоти зиёдатй, ки дар мачлиси алохида мухокима кардан бехтар аст.
    Мушкилоти омӯзишӣ ҳамчун оркестр як экосистемаи мураккаб аст.
    Проблемаи маъмул дар саноат нодуруст истифода бурдани асбобҳо мебошад.

    Боқимондаи хулосаҳо ба шумо вобаста аст. Ҳанӯз эҳсосе вуҷуд дорад, ки омезиши Docker+Kubernetes ба қисми “марказии” система шудан осон нест. Масалан, системаҳои оператсионӣ аввал дар сахтафзор насб карда мешаванд, ки дар бораи контейнерҳо ва оркестрҳо гуфтан мумкин нест. Шояд дар оянда системаҳои оператсионӣ ва контейнерҳо бо нармафзори идоракунии абр якҷоя шаванд.

    Инфрасохтори муосир: мушкилот ва дурнамо
    Аксҳо аз ҷониби Габриэл Сантос Фотография аз Pexels

    Аз фурсат истифода бурда, ба модарам салом гуфта, хотиррасон мекунам, ки мо як гурӯҳи Facebook дорем "Идоракунӣ ва рушди лоиҳаҳои бузурги IT", канал @feedmeto бо нашрияҳои ҷолиб аз блогҳои гуногуни технологӣ. Ва канали ман @rybakalexey, ки ман дар бораи идоракунии рушд дар ширкатҳои маҳсулот сӯҳбат мекунам.

Манбаъ: will.com

Илова Эзоҳ