SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз

SAP HANA — сақтау қызметтерін (деректер қоймасы) және аналитиканы, кірістірілген аралық бағдарламалық құралды, қолданбалы серверді және жаңа утилиталарды конфигурациялауға немесе әзірлеуге арналған платформаны қамтитын танымал жадтағы ДҚБЖ. SAP HANA көмегімен дәстүрлі ДҚБЖ кешігуін жою арқылы сіз жүйе өнімділігін, транзакцияны өңдеуді (OLTP) және іскери сараптауды (OLAP) айтарлықтай арттыра аласыз.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз

SAP HANA қолданбасын Appliance және TDI режимдерінде орналастыруға болады (егер біз өндіріс орталары туралы айтатын болсақ). Әрбір опция үшін өндірушінің өз талаптары бар. Бұл постта біз әртүрлі нұсқалардың артықшылықтары мен кемшіліктері туралы, сонымен қатар түсінікті болу үшін SAP HANA-мен нақты жобаларымыз туралы сөйлесетін боламыз.

SAP HANA 3 негізгі құрамдас бөліктен тұрады - хост, инстанция және жүйе.

Хост SAP HANA ДҚБЖ іске қосу үшін сервер немесе операциялық орта болып табылады. Оның қажетті компоненттері - процессор, жедел жады, сақтау, желі және ОЖ. Хост орнату каталогтарына, деректерге, журналдарға немесе тікелей сақтау жүйесіне сілтемелер береді. Сонымен қатар, SAP HANA орнатуға арналған сақтау жүйесі хостта орналасуы міндетті емес. Жүйеде бірнеше хост болса, сізге ортақ сақтау орны немесе барлық хосттардан сұраныс бойынша қолжетімді біреуі қажет болады.

Мысал — бір хостта орнатылған SAP HANA жүйе құрамдастарының жинағы. Негізгі құрамдастары – индекс сервері және атау сервері. Біріншісі, ол «жұмыс сервері» деп те аталады, сұрауларды өңдейді, ағымдағы деректер қоймалары мен дерекқор қозғалтқыштарын басқарады. Атау сервері SAP HANA орнату топологиясы туралы ақпаратты сақтайды - құрамдастар қай жерде іске қосылады және серверде қандай деректер бар.

жүйе – бұл бірдей нөмірлі бір немесе бірнеше даналар. Негізінде, бұл қосуға, өшіруге немесе көшіруге (сақтық көшірме жасауға) болатын бөлек элемент. Деректер SAP HANA жүйесін құрайтын әртүрлі серверлердің жадында таратылады.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз
Жүйені бір хост (бір хосттағы бір данасы) немесе көп хост, таратылған (бірнеше SAP HANA даналары бірнеше хосттарға таратылады, әр хостқа бір данасы бар) ретінде конфигурациялануы мүмкін. Көп хост жүйелерінде әрбір данада бірдей нөмір болуы керек. SAP HANA жүйесі үш әріптік-цифрлық таңбадан тұратын бірегей нөмір Жүйе идентификаторы (SID) арқылы анықталады.

SAP HANA виртуализациясы

SAP HANA негізгі шектеулерінің бірі тек бір жүйені қолдау болып табылады - бірегей сервер SID бар бір данасы. Аппараттық құралдарды тиімдірек пайдалану немесе деректер орталығындағы серверлер санын азайту үшін виртуалдандыруды пайдалануға болады. Осылайша, басқа ландшафттар төменірек талаптары бар жүйелермен (өнімсіз жүйелер) бір серверде бірге өмір сүре алады. Күту режиміндегі HA/DR сервері үшін виртуализация өнімді және өнімді емес виртуалды машиналар арасында ауысу жылдамдығын жақсарта алады.

SAP HANA VMWare ESX гипервизорына қолдауды қамтиды. Бұл әртүрлі SAP HANA жүйелері - әртүрлі SID нөмірлері бар SAP HANA қондырғылары әртүрлі виртуалды машиналарда бір хостта (жалпы физикалық серверде) бірге өмір сүре алатынын білдіреді. Әрбір виртуалды машина қолдау көрсетілетін операциялық жүйеде жұмыс істеуі керек.

Өндірістік орталар үшін SAP HANA виртуализациясының елеулі шектеулері бар:

  • Масштабты кішірейтуге қолдау көрсетілмейді - виртуалдандыруды тек BwoH/DM/SoH немесе «таза» SoH болсын, Scale-Up жүйелерімен пайдалануға болады;
  • виртуалдандыру Appliance немесе TDI құрылғылары үшін белгіленген ережелер шеңберінде жүзеге асырылуы тиіс;
  • Жалпы қолжетімділік (GA) тек бір виртуалды машинаға ие болуы мүмкін — виртуализацияны HANA өндірістік орталарымен пайдаланғысы келетін компаниялар SAP көмегімен басқарылатын қолжетімділік бағдарламасына қатысуы керек.

Бұл шектеулер жоқ өндірістік емес орталарда виртуализацияны аппараттық құралдарды пайдалануды оңтайландыру үшін пайдалануға болады.

SAP HANA топологиялары

SAP HANA қолдануды жалғастырайық. Мұнда екі топология анықталған.

  • Масштабты кеңейту – бір үлкен сервер. HANA базасы өскен сайын сервердің өзі өседі: процессорлар саны мен жад көлемі артады. Қол жетімділігі жоғары (HA) және апатты қалпына келтіру (DR) шешімдерінде резервтік көшірме немесе қатеге төзімді серверлер өнімді серверлердің сипаттамаларына сәйкес келуі керек.
  • Кеңейту – SAP HANA жүйесінің бүкіл көлемі бірнеше бірдей серверлерге таратылады. Негізгі серверде индекс сервері және атау сервері туралы ақпарат бар. Негізгі сервер істен шыққан жағдайда Мастер функцияларын қабылдайтын серверден басқа, бағынышты серверлерде бұл деректер жоқ. Индекс серверлері оларға тағайындалған деректер сегменттерін басқарады және сұрауларға жауап береді. Атау серверлері деректердің өндіріс серверлері арасында қалай бөлінетінін біледі. HANA өссе, ағымдағы сервер конфигурациясына басқа түйін жай ғана қосылады. Бұл топологияда бүкіл сервердің қауіпсіздігін қамтамасыз ету үшін бір резервтік түйіннің болуы жеткілікті.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз

SAP аппараттық құралдарының талаптары

SAP жүйесінде HANA үшін міндетті аппараттық талаптар бар. Олар өнімді орталарға қатысты - өнімсіз үшін минималды сипаттамалар жеткілікті. Сонымен, өндіріс орталарына қойылатын талаптар:

  • CPU Intel Xeon v5 (SkyLake) / 8880/90/94 v4 (Broadwell)
  • бастап 128 процессоры бар BW қолданбалары үшін 2 ГБ жедел жады, 256+ процессоры бар 4 ГБ;

SAP HANA қолданбасын құрылғы және TDI режимдерінде қолдану

Енді тәжірибеге көшейік және SAP HANA-ны Appliance және TDI режимдерінде қалай енгізу керектігі туралы сөйлесейік. Ол үшін SAP осы режимдерде жұмыс істеу үшін сертификатталған BullSequana S және Bullion S серверлеріне негізделген SAP HANA платформаларын пайдаланамыз.

Өнімдер туралы шағын ақпарат. Intel Xeon Scalable негізіндегі BullSequana S бір сервердегі 32 процессорға дейін әртүрлі үлгілерді қамтиды. Сервер 32 процессорға дейін және бірдей GPU санына дейін ауқымдылықты қамтамасыз ететін модульдік дизайн арқылы құрастырылған. ЖЖҚ – 64 ГБ-тан 48 ТБ-ға дейін. BullSequana S мүмкіндіктеріне жақсартылған өнімділікке арналған корпоративтік AI қолдауы, жеделдетілген деректер аналитикасы, жақсартылған жадтағы есептеулер және виртуалдандыру және бұлттық технологиялармен жаңғырту кіреді.

Bullion S Intel Xeon E7 v4 отбасылық процессорларымен бірге келеді. Процессорлардың ең көп саны - 16. ЖЖҚ 128 ГБ-тан 24 ТБ-ға дейін масштабталады. RAS функцияларының үлкен саны SAP HANA сияқты миссия үшін маңызды инфрақұрылымдар үшін қолжетімділіктің жоғары деңгейін қамтамасыз етеді. Bullion S жаппай деректер орталығын біріктіруге, In-Memory қолданбаларын іске қосуға, негізгі фреймдерді тасымалдауға немесе ескі жүйелерге жарамды.

SAP HANA құралы

Құрал – серверді, сақтау жүйесін және орталықтандырылған қолдау қызметі және келісілген өнімділік деңгейі бар кілт тапсыруға арналған бағдарламалық құрал пакетін қамтитын алдын ала конфигурацияланған шешім. Мұнда HANA толығымен біріктірілген және сертификатталған алдын ала конфигурацияланған аппараттық және бағдарламалық құрал ретінде келеді. Құрылғы режиміндегі құрылғы деректер орталығында орнатуға дайын және операциялық жүйе, SAP HANA және (қажет болса) қосымша VMWare данасы конфигурацияланған және орнатылған.

SAP сертификаты өнімділіктің кепілдендірілген деңгейін, сондай-ақ процессор үлгісін, жедел жады мен сақтау көлемін анықтайды. Сертификаттаудан кейін конфигурацияны кепілдікті жоймай өзгерту мүмкін емес. HANA платформасын масштабтау үшін SAP үш опцияны ұсынады.

  • BWoH/DM/SoH масштабын ұлғайту – бір жүйеге (бір SID) жарамды тік масштабтау. SAP HANA SPS 256 жүйесінен бастап құрылғылар 384/11 ГБ-қа өседі. Бұл қатынас бір процессор қолдайтын максималды сыйымдылықты көрсетеді және сертификатталған құрылғылардың бүкіл тізіміне ортақ болып табылады. Тік масштабтауы бар BWoH/DM/SoH құрылғысы HANA (BWoH), Data Mart (DM) және HANA (SoH) қолданбаларында SAP Suite үшін өте қолайлы.
  • Scale-Up SoH - Бұл алдыңғы модельдің жеңіл нұсқасы, жедел жады көлеміне шектеулер аз. Бұл әлі де тігінен масштабталатын сервер, бірақ 2 процессорға арналған жедел жадтың максималды көлемі қазірдің өзінде 1536 ГБ (SPS11 нұсқасына дейін) және 3 ТБ (SPS12+) болып табылады. Тек SoH үшін жарамды.
  • Масштабты кішірейту - Бұл көлденең масштабталатын опция, көп серверлік конфигурацияларды қолдайтын жүйе. Көлденең масштабтау BW үшін және кейбір шектеулермен SoH үшін оңтайлы.

BullSequana S және Bullion S серверлерінде тік масштабтау басты назарда болады, себебі оның операциялық шектеулері аз және аз басқаруды қажет етеді. Құрылғы режимі үшін әртүрлі құрылғылардың кең ауқымы бар.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз
Құрылғы режимінде SAP HANA үшін BullSequana S шешімдері

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз
*Қосымша E7-8890/94v4
Құрал режиміндегі SAP HANA үшін Bullion S шешімдері

SAP HANA SPS 12 құрылғы режиміндегі барлық Bull шешімдері сертификатталған. Жабдық стандартты 19 дюймдік 42U тірекке орнатылған, екі қуат көзі - ішкі PDU. Келесі серверлерде SAP сертификаты бар:

  • BullSequana S Intel Xeon Skylake 8176, 8176M, 8180, 8180M («M» әрпі бар процессорлар 128 ГБ жад модульдерін қолдайды). Баға мен сапа арақатынасы тұрғысынан Intel 8176 опциялары жақсы көрінеді
  • Bullion S Intel Xeon E7-8880 v4, 8890 және 8894.

Сақтау жүйесі серверге FC порттары арқылы тікелей қосылады, сондықтан SAN қосқыштары мұнда қажет емес. Олар LAN немесе SAN желісіне қосылған жүйелерге қол жеткізу үшін пайдалы болуы мүмкін.

Міне, орнатуымыздағы EMC Unity 450F сақтау жүйесі конфигурациясының мысалы:

  • Биіктігі: 5U (DPE 3U (25×2,5" HDD/SSD) + DAE 2U (25×2,5" HDD/SSD))
  • Контроллер: 2
  • Дискілер: 6-дан 250-ге дейін SAS SSD, әрқайсысы 600 ГБ-тан 15.36 ТБ-ға дейін
  • RAID: 5 деңгей (8+1), 4 RAID тобы
  • Интерфейс: әр контроллерге 4 FC, 8 немесе 16 Гбит/с
  • Бағдарламалық құрал: Unisphere Block Suite

Құрылғы сенімді орналастыру нұсқасы болып табылады, бірақ оның үлкен кемшілігі бар: аппараттық құралдарды конфигурациялауда аз еркіндік. Сонымен қатар, бұл опция АТ бөлімінің процестерін өзгертуді талап етуі мүмкін.

SAP HANA TDI

Құрылғыға балама TDI (Tailored Data Center Integration) режимі болып табылады, онда орындалған тапсырмалар мен жұмыс көлемін ескере отырып, тұтынушының қалауына байланысты нақты өндірушілер мен инфрақұрылым құрамдастарын таңдауға болады. Мысалы, SAN деректер орталығында қайта пайдалануға болады, кейбір дискілер HANA орнатуына арналған.

Құрылғымен салыстырғанда, TDI режимі пайдаланушыға талаптарды орындауға көбірек еркіндік береді. Бұл HANA-ны деректер орталығына біріктіруді айтарлықтай жеңілдетеді - сіз өзіңіздің теңшелген инфрақұрылымыңызды құра аласыз. Мысалы, жүктемеге байланысты процессорлардың түрі мен санын өзгертіңіз.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз
Сыйымдылықты есептеу үшін SAP HANA жүйесіндегі әртүрлі жұмыс жүктемелері үшін процессор мен жад талаптарын қамтамасыз ететін қарапайым құрал болып табылатын SAP Quick Sizeer пайдалануды ұсынамыз. Содан кейін АТ-ландшафтыңызды жоспарлау үшін SAP Active Global қолдау қызметіне хабарласуға болады. Осыдан кейін SAP HANA аппараттық серіктесі есептеу нәтижелерін әртүрлі ықтимал жүйелік конфигурацияларға түрлендіреді - жоғарғы жағында да, қарапайым жабдықта да. Серверлер үшін TDI режимінде Intel E7 процессорларын, соның ішінде Intel Broadwell E7 және Skylake-SP (әр процессорға 8 немесе одан да көп ядросы бар Platinum, Gold, Silver), сондай-ақ IBM Power8 пайдалану қолайлы./ 9.

Серверлер сақтау жүйелерінсіз, ажыратқыштарсыз және тіректерсіз жеткізіледі, бірақ аппараттық құралдарға қойылатын талаптар Құрылғы режиміндегідей болып қалады - бірдей жалғыз түйіндер, тік немесе көлденең масштабтауы бар шешімдер. SAP мұны талап етеді тек сертификатталған серверлер, сақтау жүйелері мен қосқыштар пайдаланылды, бірақ бұл қорқынышты емес - өндірушілердің көпшілігінде дерлік барлық жабдықтар сертификатталған.

Өнімділік сынағы HWCCT (Аппараттық құрал конфигурациясын тексеру құралы) сынақтары арқылы жасалуы керек., бұл белгілі бір SAP KPI сәйкестігін тексеруге мүмкіндік береді. Және аппараттық емес талап бар: HANA, OS және гипервизорды (міндетті емес) SAP сертификаты бар мамандар орнатуы керек. Барлық аталған ережелерге сәйкес келетін жүйелер ғана SAP өнімділігі қолдауын ала алады.

TDI режиміндегі BullSequana S серверлер желісі Құрал режиміндегі сызыққа ұқсас, бірақ сақтау жүйелері, қосқыштар және тіректерсіз. Сертификатталған SAP жүйелерінің тізімінен кез келген сақтау жүйесін орнатуға болады - VNX, XtremIO, NetApp және т.б. Мысалы, VNX5400 SAP HANA өнімділік талаптарына сай болса, Dell EMC Unity 450F жадын TDI конфигурациясының бөлігі ретінде қосуға болады. Қажет болса, FC адаптерлері (1 немесе 10 Гбит/с), сондай-ақ Ethernet қосқыштары орнатылады.

Енді сипатталған режимдерді нақтырақ елестету үшін біз сізге бірнеше нақты жағдайларымыз туралы айтып береміз.

Құрылғы + TDI: интернет-дүкенге арналған HANA

Mall Group құрамына кіретін Mall.cz интернет-дүкені 2000 жылы құрылған. Чехияда, Словакияда, Польшада, Венгрияда, Словенияда, Хорватияда және Румынияда филиалдары бар. Бұл тәулігіне 75 мыңға дейін өнім сататын елдегі ең ірі интернет-дүкен, оның кірісі 2017 жылдың соңында шамамен 280 миллион еуроны құрады.

SAP HANA жүйесіне көшуге байланысты деректер орталығының инфрақұрылымын жаңарту қажет болды. Болжалды өлшем өнім орталары үшін 2x6 ТБ және сынақ/әзірлеу орталары үшін 6 ТБ болды. Сонымен бірге белсенді-белсенді кластердегі өнімді SAP HANA ортасы үшін апатты қалпына келтіруі бар шешім қажет болды.

Тендер туралы хабарландыру кезінде тапсырыс берушіде стандартты тірек және пышақ серверлеріне негізделген SAP жүйесі болды. Бір-бірінен шамамен 10 км қашықтықта орналасқан екі деректер орталығы әртүрлі сақтау жүйелерімен жабдықталған - IBM SVC, HP және Dell. Негізгі жүйелер апатты қалпына келтіру режимінде жұмыс істейді.

Біріншіден, тұтынушы 12 ТБ дейін өсетін барлық жүйелер (өндіріс және сынақ/әзірлеу орталары) үшін SAP HANA үшін Құрылғы режимінде сертификатталған шешімді сұрады. Бірақ бюджеттік шектеулерге байланысты олар басқа опцияларды қарастыра бастады - мысалы, кішірек жедел жады модульдері бар көбірек процессорлар (64 ГБ модульдердің орнына 128 ГБ модульдер). Сонымен қатар, бағаны оңтайландыру үшін өндіріс және сынақ/әзірлеу орталары үшін бірлескен сақтау қарастырылды.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз

Өндіріс ортасы үшін 4 процессор мен 6 ТБ жедел жады туралы келісімге келдік, өсу мүмкіндігі бар. TDI режиміндегі сынақ/әзірлеу орталары үшін біз арзанырақ процессорларды пайдалануды ұйғардық - бізде 8 процессор және 6 ТБ жедел жады бар. Тұтынушы сұраған функциялардың көп санына байланысты - репликация, сақтық көшірме, бірлескен өндіріс және екінші сайттағы сынақ/әзірлеу орталары - ішкі дискілердің орнына DellEMC Unity сақтау жүйелері толық флэш конфигурациясында пайдаланылды. Сонымен қатар, тұтынушы үшінші тораптағы кворум түйіні бар HANA жүйесінің репликациясына (HSR) негізделген апатты қалпына келтіру шешімін сұрады.

Prod ортасына арналған соңғы конфигурация Intel Xeon P400M (8176 ядро, 28 ГГц, 2.10 Вт) және 165 ТБ жедел жадыдағы BullSequana S6 серверінен тұрды. Сақтау жүйесі - Unity 450F 10x 3.84 TB. Апатты қалпына келтіру мақсатында Prod ортасы үшін 400 ТБ жедел жады бар Intel Xeon P8176M (28 ядро, 2.10 ГГц, 165 Вт) құрылғысында BullSequana S6 пайдаландық. Сынақ/әзірлеу ортасы үшін Intel Xeon P800 (8153 ядро, 16 ГГц, 2.00 Вт) және 125 ТБ жедел жады және Unity 6F 450x 15 ТБ сақтау жүйесі бар BullSequana S3.84 серверін алдық. Біздің мамандар DellEMC серверлерін кворум, қолданба серверлері (VxRail Solution) және сақтық көшірме шешімі (DataDomain) ретінде орнатып, конфигурациялады.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз
Жабдық болашақта жаңартуға дайын. Тұтынушы HANA өлшемдері 2019 жылы ұлғаяды деп күтеді және оған жаңа модульдерді тіректерге орнату ғана қалады.

Құрылғы: ірі туристік интеграторға арналған HANA

Бұл жолы біздің клиент туристік компаниялар үшін технологиялық шешімдерді әзірлейтін ірі IT-қызмет провайдері болды. Тұтынушы жаңа есепшот жүйесін енгізу үшін өршіл SAP HANA жобасын іске қосты. Өндіріс және PreProd орталары үшін 8 ТБ жедел жады бар Құрылғы режимінде шешім қажет болды. SAP ұсыныстарына сәйкес тұтынушы тік масштабтау опциясын таңдады.

Негізгі міндет SAP HANA үшін Appliance режимінде сертификатталған құрылғыларға негізделген аппараттық инфрақұрылымды енгізу болды. Басымдылық критерийлері экономикалық тиімділік, жоғары өнімділік, ауқымдылық және деректердің жоғары қолжетімділігі болды.

Біз Prod және PreProd орталары үшін екі Bullion S16 серверін қамтитын SAP сертификатталған шешімін ұсындық және енгіздік. Жабдық Intel Xeon E7-v4 8890 процессорларында (24 ядро, 2.20 ГГц, 165 Вт) жұмыс істейді және 16 ТБ жедел жадымен жабдықталған. BW және Dev/Test орталары үшін 4 ТБ жедел жады бар тоғыз Bullion S22 сервері (2.20 ядро, 150 ГГц, 4 Вт) орнатылды. Гибридті EMC Unity сақтау жүйесі ретінде пайдаланылды.

Бұл шешім құрылғының барлық элементтері үшін масштабтауды қолдауды қамтамасыз етеді - мысалы, Intel Xeon E16-v7 процессоры бар 4 ұяшыққа дейін. Бұл конфигурациядағы әкімшілік жеңілдетілген - атап айтқанда, серверді қайта конфигурациялау немесе бөлу үшін.

Құрылғы + TDI: металлургтерге арналған HANA

MMC Norilsk Nickel, никель мен палладийдің ең ірі өндірушілерінің бірі маңызды бизнес қолданбалары мен жобаларын қолдау үшін SAP HANA аппараттық платформасын жаңартуды шешті. Қолданыстағы ландшафтты есептеу қуаты жағынан кеңейту қажеттілігі туындады. Тұтынушы ұсынған негізгі шарттардың бірі аппараттық шектеулерге қарамастан платформаның жоғары қолжетімділігі болды.

SAP HANA қалай орналастыруға болады: біз әртүрлі әдістерді талдаймыз

Өндіріс орталары үшін SAP HANA Appliance режимінде Bullion S8 серверін және сақтау жүйелерін қолдандық. HA және test/dev үшін платформа TDI режимінде орналастырылған. Біз бір Bull Bullion S8 серверін, екі Bull Bullion S6 серверін және гибридті сақтау жүйесін қолдандық. Бұл комбинация SAP ландшафтындағы қолданбалардың жылдамдығын айтарлықтай арттыруға, есептеу қуаты мен деректерді сақтау ресурстарының көлемін арттыруға және операциялық шығындарды азайтуға мүмкіндік берді. Клиент әлі де 16 процессорға дейін масштабтау мүмкіндігіне ие болуы маңызды.

Сіздерді SAP форумына шақырамыз

Бұл постта біз SAP HANA-ны әртүрлі тәсілдермен қолдануды қарастырдық және қол жетімді опциялардың артықшылықтары мен кемшіліктерін көрсетуге тырыстық. SAP HANA енгізу туралы сұрақтарыңыз болса, біз оларға түсініктемелерде жауап беруге қуаныштымыз.

Біз Bull шешімдеріне және оларды SAP HANA шеңберінде енгізу мүмкіндіктеріне қызығушылық танытатындардың барлығын жылдың ең ірі SAP іс-шарасына шақырамыз: SAP Forum 17 2019 сәуірде Мәскеуде өтеді. Біз сізді IoT стендінде күтеміз. аймақ: біз сізге көптеген қызықты нәрселерді айтамыз, сонымен қатар көптеген сыйлықтар береміз.

Форумда кездескенше!

Ақпарат көзі: www.habr.com

пікір қалдыру