Системаҳои таҳлили сервер

Ин қисми дуюми силсилаи мақолаҳо дар бораи системаҳои таҳлилӣ мебошад (пайванд ба қисми 1).

Имрӯз дигар шубҳае нест, ки коркарди дақиқи маълумот ва тафсири натиҷаҳо метавонад ба ҳама намуди тиҷорат кӯмак расонад. Дар робита ба ин, системаҳои таҳлилӣ ҳарчи бештар бо параметрҳо пур мешаванд ва шумораи триггерҳо ва рӯйдодҳои корбар дар барномаҳо меафзояд.
Аз ин рӯ, ширкатҳо ба таҳлилгарони худ маълумоти бештари хом медиҳанд, то таҳлил ва ба қарорҳои дуруст табдил диҳанд. Аҳамияти системаи таҳлилӣ барои ширкат набояд нодида гирифта шавад ва худи система бояд боэътимод ва устувор бошад.

Таҳлилгарони муштариён

Таҳлили муштариён хидматест, ки ширкат ба вебсайт ё замимаи худ тавассути SDK-и расмӣ пайваст мешавад, ба пойгоҳи коди худ ворид мешавад ва триггерҳои рӯйдодҳоро интихоб мекунад. Як манфии ошкори ин равиш вуҷуд дорад: ҳама маълумоти ҷамъовардашуда метавонанд аз сабаби маҳдудиятҳои ягон хидмате, ки шумо интихоб мекунед, маҳз тавре ки шумо мехоҳед коркард карда шаванд. Масалан, дар як система иҷро кардани вазифаҳои MapReduce осон нахоҳад буд, дар системаи дигар шумо модели худро иҷро карда наметавонед. Камбудии дигар ин ҳисоби муқаррарии (таъсирбахш) барои хидматҳо хоҳад буд.
Дар бозор бисёр роҳҳои ҳалли таҳлили муштариён мавҷуданд, аммо дер ё зуд таҳлилгарон бо он рӯбарӯ мешаванд, ки ягон хидмати универсалӣ барои ҳар як вазифа мувофиқ нест (дар ҳоле ки нархи ҳамаи ин хидматҳо ҳама вақт боло меравад). Дар чунин вазъият, ширкатҳо аксар вақт тасмим мегиранд, ки системаи таҳлилии худро бо тамоми танзимот ва қобилиятҳои фармоишии зарурӣ эҷод кунанд.

Таҳлилгарони сервер

Таҳлили сервер хидматест, ки метавонад дар дохили ширкат дар серверҳои худ ва (одатан) бо кӯшишҳои худ ҷойгир карда шавад. Дар ин модел, ҳама рӯйдодҳои корбар дар серверҳои дохилӣ нигоҳ дошта мешаванд, ки ба таҳиягарон имкон медиҳанд, ки пойгоҳи додаҳои гуногуни нигаҳдории худро санҷанд ва меъмории мувофиқтаринро интихоб кунанд. Ва ҳатто агар шумо ба ҳар ҳол мехоҳед, ки таҳлили муштарии тарафи сеюмро барои баъзе вазифаҳо истифода баред, ин ба ҳар ҳол имконпазир хоҳад буд.
Таҳлили сервер метавонад бо ду роҳ ҷойгир карда шавад. Якум: якчанд утилитаҳои кушодаасос интихоб кунед, онҳоро дар мошинҳои худ ҷойгир кунед ва мантиқи тиҷоратиро таҳия кунед.

Плюсы
Минусы

Шумо метавонед ҳама чизеро, ки мехоҳед, танзим кунед
Ин аксар вақт хеле душвор аст ва таҳиягарони алоҳидаро талаб мекунад

Дуюм: ба ҷои ҷойгиркунии худ хидматҳои SaaS (Amazon, Google, Azure) гиред. Мо дар бораи SaaS муфассалтар дар қисми сеюм сӯҳбат хоҳем кард.

Плюсы
Минусы

Он метавонад дар ҳаҷми миёна арзонтар бошад, аммо бо афзоиши калон он ҳанӯз ҳам гарон хоҳад шуд
Ҳама параметрҳоро назорат кардан имконнопазир аст

Маъмурият пурра ба дӯши провайдери хидматрасон мегузарад
На ҳама вақт маълум аст, ки дар дохили хидмат чӣ мавҷуд аст (он шояд лозим набошад)

Чӣ тавр ҷамъоварӣ кардани таҳлили сервер

Агар мо хоҳем, ки аз истифодаи таҳлили муштарӣ даст кашем ва худамонро созем, пеш аз ҳама мо бояд меъмории системаи навро фикр кунем. Дар зер ман ба шумо қадам ба қадам мегӯям, ки шумо бояд чиро ба назар гиред, барои чӣ ҳар як қадам лозим аст ва кадом воситаҳоро шумо метавонед истифода баред.

1. Гирифтани маълумот

Тавре ки дар мавриди таҳлили муштариён, пеш аз ҳама, таҳлилгарони ширкат намудҳои рӯйдодҳоеро, ки мехоҳанд дар оянда омӯзанд, интихоб мекунанд ва онҳоро дар рӯйхат ҷамъ мекунанд. Одатан, ин рӯйдодҳо бо тартиби муайян ба амал меоянд, ки онро "намуди ҳодиса" меноманд.
Баъдан, тасаввур кунед, ки замимаи мобилӣ (вебсайт) дорои корбарони муқаррарӣ (дастгоҳҳо) ва серверҳои зиёд мебошад. Барои бехатар интиқол додани рӯйдодҳо аз дастгоҳҳо ба серверҳо, қабати мобайнӣ лозим аст. Вобаста аз меъморӣ, метавонад якчанд навбати рӯйдодҳои гуногун вуҷуд дошта бошад.
Апач Кафка Оё паб/навбати зер, ки ҳамчун навбат барои ҷамъоварии рӯйдодҳо истифода мешавад.

Мувофиқи маълумот дар Quora нашр кунед дар соли 2014, созандаи Apache Kafka тасмим гирифт, ки нармафзорро ба номи Франц Кафка гузорад, зеро "ин системаест, ки барои навиштан оптимизатсия шудааст" ва азбаски ӯ асарҳои Кафкаро дӯст медошт. — Википедия

Дар мисоли мо, бисёр истеҳсолкунандагони додаҳо ва истеъмолкунандагони додаҳо (дастгоҳҳо ва серверҳо) мавҷуданд ва Кафка барои пайваст кардани онҳо ба ҳамдигар кӯмак мекунад. Истеъмолкунандагон дар марҳилаҳои зерин муфассалтар тавсиф карда мешаванд, ки онҳо мавзӯъҳои асосӣ хоҳанд буд. Ҳоло мо танҳо истеҳсолкунандагони маълумотро (ҳодисаҳоро) баррасӣ хоҳем кард.
Кафка мафҳумҳои навбат ва тақсимотро фаро мегирад; беҳтар аст, ки дар ин бора дар ҷои дигар бештар хонед (масалан, дар хуччатхо). Бе тафсилот, биёед тасаввур кунем, ки замимаи мобилӣ барои ду OS-и гуногун оғоз шудааст. Сипас, ҳар як версия ҷараёни воқеаҳои алоҳидаи худро эҷод мекунад. Истеҳсолкунандагон рӯйдодҳоро ба Кафка мефиристанд, онҳо дар навбати мувофиқ сабт карда мешаванд.

(расм аз ин ҷо)

Ҳамзамон, Кафка ба шумо имкон медиҳад, ки қисм-қисмҳо хонед ва ҷараёни рӯйдодҳоро дар қисмҳои хурд коркард кунед. Кафка як абзори хеле қулай аст, ки бо эҳтиёҷоти афзоянда (масалан, аз рӯи ҷойгиршавии ҷуғрофии рӯйдодҳо) мувофиқ аст.
Одатан як пора кифоя аст, аммо ҳангоми миқёс корҳо мушкилтар мешаванд (чун ҳамеша онҳо мекунанд). Эҳтимол, ҳеҷ кас намехоҳад, ки танҳо як пораи ҷисмониро дар истеҳсолот истифода барад, зеро меъморӣ бояд ба камбудиҳо тобовар бошад. Илова ба Кафка, боз як ҳалли маъруф вуҷуд дорад - RabbitMQ. Мо онро дар истеҳсолот ҳамчун навбат барои таҳлили рӯйдодҳо истифода набурдем (агар шумо чунин таҷриба дошта бошед, дар ин бора дар шарҳҳо ба мо бигӯед!). Аммо, мо AWS Kinesis-ро истифода мебарем.

Пеш аз гузаштан ба қадами оянда, мо бояд боз як қабати иловагии системаро қайд кунем - нигаҳдории логҳои хом. Ин қабати ҳатмӣ нест, аммо он муфид хоҳад буд, агар ягон хатогӣ рӯй диҳад ва навбатҳои рӯйдодҳо дар Кафка аз нав барқарор карда шаванд. Нигоҳ доштани гузоришҳои хом ҳалли мураккаб ва гаронбаҳоро талаб намекунад; шумо метавонед онҳоро танҳо дар ҷое бо тартиби дуруст нависед (ҳатто дар диски сахт).

2. Коркарди ҷараёнҳои рӯйдодҳо

Пас аз он ки мо ҳама чорабиниҳоро омода карда, онҳоро дар навбатҳои мувофиқ ҷойгир кардем, мо ба марҳилаи коркард мегузарем. Дар ин ҷо ман ба шумо дар бораи ду варианти маъмултарини коркард нақл мекунам.
Варианти аввал ин фаъол кардани Spark Streaming дар системаи Apache мебошад. Ҳама маҳсулоти Apache дар HDFS, системаи файлии бехатар бо нусхаҳои файлӣ зиндагӣ мекунанд. Spark Streaming як воситаи осони истифода аст, ки маълумоти ҷараёнро хуб идора мекунад ва миқёсро хуб идора мекунад. Бо вуҷуди ин, нигоҳ доштани он метавонад душвор бошад.
Варианти дигар ин сохтани коркардкунандаи рӯйдодҳои шахсии шумост. Барои ин ба шумо лозим аст, масалан, як барномаи Python нависед, онро дар Docker созед ва ба навбати Кафка обуна шавед. Вақте ки триггерҳо ба коркардкунандагони докер меоянд, коркард оғоз мешавад. Бо ин усул, ба шумо лозим аст, ки барномаҳоро ҳамеша фаъол нигоҳ доред.
Фарз мекунем, ки мо яке аз вариантҳои дар боло тавсифшударо интихоб кардаем ва ба худи коркард мегузарем. Протсессорҳо бояд аз тафтиши дурустии маълумот, филтр кардани партовҳо ва рӯйдодҳои "шикаста" оғоз кунанд. Барои тасдиқ мо одатан истифода мебарем Cerberus. Пас аз ин, шумо метавонед харитасозии маълумотро анҷом диҳед: маълумот аз манбаъҳои гуногун барои илова кардан ба ҷадвали умумӣ муқаррарӣ ва стандартизатсия карда мешавад.

3. Пойгоҳи додаҳо

Қадами сеюм нигоҳ доштани рӯйдодҳои муқарраршуда мебошад. Ҳангоми кор бо системаи аналитикии омода, мо бояд ба онҳо зуд-зуд дастрасӣ пайдо кунем, аз ин рӯ интихоби пойгоҳи мувофиқ муҳим аст.
Агар маълумот ба нақшаи собит мувофиқат кунад, шумо метавонед интихоб кунед Clickhouse ё ягон базаи дигари сутунӣ. Хамин тавр агрегатхо хеле зуд кор мекунанд. Камбудии он дар он аст, ки схема ба таври қатъӣ муқаррар карда шудааст ва бинобар ин илова кардани объектҳои худсарона бидуни тағир додан ғайриимкон аст (масалан, ҳангоми рух додани ҳодисаи ғайристандартӣ). Аммо шумо метавонед дар ҳақиқат хеле зуд ҳисоб кунед.
Барои маълумоти сохторнашуда, шумо метавонед NoSQL-ро гиред, масалан, Apache кассандра. Он дар HDFS кор мекунад, хуб такрор мешавад, шумо метавонед бисёр мисолҳоро эҷод кунед ва ба хатогиҳо таҳаммулпазир аст.
Шумо инчунин метавонед чизи соддатарро ба миён гузоред, масалан, Муғулистон. Ин хеле суст ва барои ҳаҷми хурд аст. Аммо плюс дар он аст, ки он хеле содда аст ва бинобар ин барои оғоз кардан мувофиқ аст.

4. Агрегатҳо

Ҳама рӯйдодҳоро бодиққат захира карда, мо мехоҳем тамоми маълумоти муҳимро аз партияи воридшуда ҷамъ оварем ва пойгоҳи додаҳоро навсозӣ кунем. Дар саросари ҷаҳон, мо мехоҳем панели идоракунӣ ва нишондиҳандаҳои мувофиқро ба даст орем. Масалан, профили корбарро аз рӯйдодҳо ҷамъоварӣ кунед ва рафтори онҳоро чен кунед. Ҳодисаҳо ҷамъоварӣ, ҷамъоварӣ ва дубора захира карда мешаванд (дар ҷадвалҳои корбар). Ҳамзамон, шумо метавонед системаеро созед, ки шумо инчунин метавонед филтрро ба агрегатор-ҳамоҳангсоз пайваст кунед: корбаронро танҳо аз як намуди ҳодиса ҷамъ кунед.
Пас аз он, агар касе дар даста танҳо ба таҳлили сатҳи баланд ниёз дошта бошад, системаҳои таҳлилии беруна метавонанд пайваст шаванд. Шумо метавонед боз Mixpanel гиред. аммо азбаски он хеле гарон аст, на ҳама рӯйдодҳои корбар ба он ҷо фиристода мешаванд, балки танҳо он чизе ки лозим аст. Барои ин, мо бояд ҳамоҳангсозеро эҷод кунем, ки баъзе рӯйдодҳои хом ё чизеро, ки мо қаблан ҷамъоварӣ карда будем, ба системаҳои беруна, API ё платформаҳои таблиғотӣ интиқол диҳад.

5. Фронт

Ба шумо лозим аст, ки фронтро ба системаи сохташуда пайваст кунед. Мисоли хуб ин хидмат аст сурх, як GUI пойгоҳи додаҳост, ки ба сохтани панелҳои идоракунӣ кӯмак мекунад. Чӣ тавр ҳамкорӣ кор мекунад:

1. Истифодабаранда дархости SQL мекунад.
2. Дар ҷавоб ӯ аломате мегирад.
3. Он барои он "визуализатсияи нав" эҷод мекунад ва графикаи зебоеро ба даст меорад, ки шумо метавонед барои худ захира кунед.

Визуализатсияҳо дар хидмат худкор навсозӣ мешаванд, шумо метавонед мониторинги худро танзим ва пайгирӣ кунед. Редаш ройгон аст, агар худидоракунӣ бошад, аммо ҳамчун SaaS он дар як моҳ 50 доллар арзиш дорад.

хулоса

Пас аз анҷом додани ҳамаи қадамҳои дар боло зикршуда, шумо таҳлили сервери худро эҷод мекунед. Лутфан қайд кунед, ки ин танҳо пайваст кардани таҳлили муштариён осон нест, зеро ҳама чизро бояд худатон танзим кунед. Аз ин рӯ, пеш аз сохтани системаи шахсии худ, зарур аст, ки зарурати системаи ҷиддии таҳлилиро бо захираҳое, ки шумо мехоҳед ба он ҷудо кунед, муқоиса кунед.
Агар шумо математикаро анҷом дода бошед ва дарёфтед, ки хароҷот хеле баланд аст, дар қисми оянда ман дар бораи чӣ гуна сохтани версияи арзонтари таҳлили сервер сӯҳбат хоҳам кард.

Ташаккур барои хондан! Ман бо камоли майл дар шарҳҳо саволҳо медиҳам.

Манбаъ: will.com