Өнөөдөр гадаад ертөнцтэй ямар ч холбоогүй хүмүүс л биг дата гэж сонсоогүй. Habré дээр Big Data аналитик болон холбогдох сэдвүүдийн сэдэв түгээмэл байдаг. Гэхдээ Big Data судалгаанд өөрийгөө зориулахыг хүсдэг мэргэжилтэн бус хүмүүсийн хувьд энэ чиглэлийн хэтийн төлөв, Big Data аналитикийг хаана ашиглах, сайн шинжээч юунд найдаж болох нь тэр бүр тодорхой байдаггүй. Үүнийг ойлгохыг хичээцгээе.
Хүний бий болгосон мэдээллийн хэмжээ жил бүр нэмэгдсээр байна. 2020 он гэхэд хадгалсан өгөгдлийн хэмжээ 40-44 зеттабайт (1 ZB ~ 1 тэрбум ГБ) болж өснө. 2025 он гэхэд ойролцоогоор 400 зеттабайт хүртэл. Иймээс орчин үеийн технологи ашиглан бүтэцлэгдсэн болон бүтэцгүй өгөгдлийг удирдах нь улам бүр чухал болж байгаа салбар юм. Бие даасан компаниуд болон бүхэл бүтэн улс орон хоёулаа их өгөгдлийг сонирхож байна.
Дашрамд дурдахад, мэдээллийн тэсрэлт, хүний үүсгэсэн өгөгдлийг боловсруулах аргуудыг хэлэлцэх үеэр Big Data гэсэн нэр томъёо гарч ирсэн. Үүнийг анх 2008 онд Nature сэтгүүлийн редактор Клиффорд Линч санал болгосон гэж үздэг.
Түүнээс хойш Big Data зах зээл жил бүр хэдэн арван хувиар өсч байна. Мөн шинжээчдийн үзэж байгаагаар энэ хандлага үргэлжлэх болно. Тиймээс компанийн тооцоолсноор 2021 онд дэлхийн том өгөгдлийн аналитикийн нийт зах зээл 67,2 тэрбум доллар болж, жилийн өсөлт 35,9 орчим хувь болно.
Бидэнд яагаад том өгөгдлийн аналитик хэрэгтэй байна вэ?
Энэ нь бүтэцлэгдсэн эсвэл бүтэцгүй өгөгдлийн багцаас маш үнэ цэнэтэй мэдээллийг тодорхойлох боломжийг танд олгоно. Үүний ачаар бизнес жишээ нь чиг хандлагыг тодорхойлж, үйлдвэрлэлийн гүйцэтгэлийг урьдчилан таамаглаж, өөрийн зардлаа оновчтой болгох боломжтой. Зардлаа бууруулахын тулд компаниуд хамгийн сүүлийн үеийн шийдлүүдийг хэрэгжүүлэхэд бэлэн байгаа нь ойлгомжтой.
Том өгөгдлийг шинжлэхэд ашигладаг технологи, шинжилгээний аргууд:
- Өгөгдлийн олборлолт;
- краудсорсинг;
- өгөгдөл холих, нэгтгэх;
- машин сурах;
- хиймэл мэдрэлийн сүлжээ;
- хэв маягийг таних;
- урьдчилан таамаглах аналитик;
- загварчлалын загварчлал;
- орон зайн шинжилгээ;
- Статистикийн дүн шинжилгээ;
- аналитик өгөгдлийн дүрслэл.
Дэлхий дээрх Big Data аналитик
Том өгөгдлийн аналитикийг одоо дэлхий даяарх компаниудын 50 гаруй хувь нь ашиглаж байна. Хэдийгээр 2015 онд энэ үзүүлэлт дөнгөж 17% байсан. Big Data-г харилцаа холбоо, санхүүгийн үйлчилгээний салбарт үйл ажиллагаа явуулдаг компаниуд хамгийн идэвхтэй ашигладаг. Дараа нь эрүүл мэндийн технологийн чиглэлээр мэргэшсэн компаниуд байдаг. Боловсролын компаниудад Big Data аналитикийг хамгийн бага ашиглах: ихэнх тохиолдолд энэ салбарын төлөөлөгчид ойрын ирээдүйд технологийг ашиглах хүсэлтэй байгаагаа зарладаг.
АНУ-д Big Data аналитикийг хамгийн идэвхтэй ашигладаг: янз бүрийн салбарын компаниудын 55 гаруй хувь нь энэ технологиор ажилладаг. Европ, Азийн орнуудад том мэдээллийн аналитикийн эрэлт тийм ч бага биш - ойролцоогоор 53%.
Орост яах вэ?
IDC-ийн шинжээчдийн үзэж байгаагаар,. Төв болон Зүүн Европт ийм шийдлийн зах зээлийн өсөлт нэлээд идэвхтэй байгаа бөгөөд энэ үзүүлэлт жил бүр 11% -иар нэмэгддэг. 2022 он гэхэд тоон үзүүлэлтээр 5,4 тэрбум ам.долларт хүрнэ.
Олон талаараа зах зээлийн энэхүү хурдацтай хөгжил нь Орост энэ бүс нутгийн өсөлттэй холбоотой юм. 2018 онд ОХУ-д холбогдох шийдлүүдийг борлуулснаас олсон орлого нь бүх бүс нутагт том өгөгдөл боловсруулах технологид оруулсан нийт хөрөнгө оруулалтын 40 хувийг эзэлж байна.
ОХУ-д банк, төрийн салбар, харилцаа холбооны салбар, аж үйлдвэрийн компаниуд Big Data боловсруулахад хамгийн их мөнгө зарцуулдаг.
Том өгөгдлийн шинжээч юу хийдэг вэ, Орост хэр их орлого олдог вэ?
Том өгөгдлийн шинжээч нь хагас бүтэцтэй болон бүтэцгүй асар их хэмжээний мэдээллийг судлах үүрэгтэй. Банкны байгууллагуудын хувьд эдгээр нь гүйлгээ, операторуудын хувьд - дуудлага, урсгал, жижиглэнгийн худалдаа - үйлчлүүлэгчийн айлчлал, худалдан авалт юм. Дээр дурдсанчлан, Big Data шинжилгээ нь "түүхий мэдээллийн түүх"-ийн янз бүрийн хүчин зүйлүүдийн хоорондын холбоог илрүүлэх боломжийг олгодог, жишээлбэл, үйлдвэрлэлийн процесс эсвэл химийн урвал. Шинжилгээний мэдээлэлд үндэслэн үйлдвэрлэлээс эхлээд анагаах ухаан хүртэл янз бүрийн салбарт шинэ арга барил, шийдлүүдийг боловсруулдаг.
Том өгөгдлийн шинжээчид шаардагдах ур чадвар:
- Шинжилгээ хийж буй талбайн онцлог шинж чанаруудыг хурдан ойлгох, хүссэн хэсэгтээ дүрэх чадвар. Энэ нь жижиглэнгийн худалдаа, газрын тос, байгалийн хийн үйлдвэрлэл, анагаах ухаан гэх мэт байж болно.
- Статистикийн өгөгдөлд дүн шинжилгээ хийх арга, математик загвар бүтээх (мэдрэлийн сүлжээ, Байезийн сүлжээ, кластер, регресс, хүчин зүйл, дисперсийн болон корреляцийн шинжилгээ гэх мэт) мэдлэгтэй байх.
- Төрөл бүрийн эх сурвалжаас өгөгдөл гаргаж авах, дүн шинжилгээ хийх зорилгоор хувиргах, аналитик мэдээллийн санд ачаалах чадвартай байх.
- SQL хэлний мэдлэгтэй.
- Техникийн баримт бичгийг хялбархан уншихад хангалттай англи хэлний мэдлэгтэй.
- Python (наад зах нь суурь), Bash (ажлын явцад үүнийг хийх нь маш хэцүү байдаг), мөн Java болон Scala-ийн үндсийг (Spark-ийг идэвхтэй ашиглахад шаардлагатай) мэдлэгтэй байх нь зүйтэй. том өгөгдөлтэй ажиллах хамгийн түгээмэл хүрээ).
- Hadoop-той ажиллах чадвартай.
За, Big Data шинжээч хэр их цалин авдаг вэ?
Том өгөгдлийн мэргэжилтнүүд одоо хомсдож, эрэлт нийлүүлэлтээсээ давж байна. Учир нь бизнес нь хөгжилд шинэ технологи, технологийн хөгжилд мэргэжилтнүүд хэрэгтэй гэсэн ойлголттой болж байна.
Тиймээс, АНУ дахь Data Scientist ба Data Analytics Glassdoor элсүүлэх агентлагийн мэдээлснээр. Америкт эдгээр мэргэжилтнүүдийн дундаж цалин жилд 100 мянган доллараас эхэлдэг.
Орос улсад машин сургалтын мэргэжилтнүүд сард 130-300 мянган рубль, том мэдээллийн шинжээчид сард 73-200 мянган рубль авдаг. Энэ бүхэн туршлага, ур чадвараас хамаарна. Мэдээжийн хэрэг, бага цалинтай, бусад өндөр цалинтай сул орон тоо байдаг. Москва, Санкт-Петербургт том мэдээллийн шинжээчдийн хамгийн их эрэлт хэрэгцээ. Москва, энэ нь гайхах зүйл биш бөгөөд идэвхтэй сул орон тооны 50 орчим хувийг эзэлдэг (hh.ru сайтын дагуу). Минск, Киевт эрэлт хамаагүй бага байна. Зарим сул орон тоо нь уян хатан цаг, алсын зайн ажлыг санал болгодог гэдгийг тэмдэглэх нь зүйтэй. Гэхдээ ер нь компаниудад оффист ажилладаг мэргэжилтнүүд хэрэгтэй байдаг.
Цаг хугацаа өнгөрөхөд бид Big Data шинжээчид болон холбогдох мэргэжлийн төлөөлөгчдийн эрэлт нэмэгдэнэ гэж найдаж болно. Дээр дурдсанчлан технологийн салбарын боловсон хүчний хомсдол арилаагүй байна. Гэхдээ мэдээж Big Data-н шинжээч болохын тулд дээр дурьдсан болон нэмэлт ур чадвараа дээшлүүлэн суралцаж, ажиллах хэрэгтэй. Том мэдээллийн шинжээчийн замыг эхлүүлэх боломжуудын нэг юм мөн том өгөгдөлтэй ажиллах тал дээр гараа туршиж үзээрэй.
Эх сурвалж: www.habr.com