በ Elastic Stack ውስጥ የማሽን መማርን መረዳት (በ Elasticsearch፣ aka ELK)

የ Elastic Stack ግንኙነት በሌለው የመረጃ ቋት Elasticsearch፣ የኪባና ድር በይነገጽ እና የመረጃ ሰብሳቢዎች (በጣም ታዋቂው ሎግስታሽ፣ የተለያዩ ቢትስ፣ ኤፒኤም እና ሌሎች) ላይ የተመሰረተ መሆኑን አስታውስ። በተዘረዘረው አጠቃላይ የምርት ክምችት ውስጥ ካሉት ጥሩ ተጨማሪዎች አንዱ የማሽን መማሪያ ስልተ ቀመሮችን በመጠቀም የመረጃ ትንተና ነው። በጽሁፉ ውስጥ እነዚህ ስልተ ቀመሮች ምን እንደሆኑ እንረዳለን. እባክዎን ከድመት በታች።

የማሽን መማር የሚከፈልበት የ shareware Elastic Stack ባህሪ ነው እና በ X-Pack ውስጥ ተካትቷል። እሱን መጠቀም ለመጀመር ከተጫነ በኋላ የ 30 ቀን ሙከራን ማግበር በቂ ነው. የሙከራ ጊዜው ካለፈ በኋላ ለማደስ ወይም የደንበኝነት ምዝገባን ለመግዛት ድጋፍ መጠየቅ ይችላሉ። የምዝገባ ዋጋው በመረጃው መጠን ላይ ሳይሆን በጥቅም ላይ ባሉ የአንጓዎች ብዛት ላይ ይሰላል። አይ, የውሂብ መጠን ላይ ተጽዕኖ, እርግጥ ነው, የሚያስፈልጉ አንጓዎች ቁጥር, ነገር ግን አሁንም ይህ የፍቃድ አሰጣጥ አቀራረብ ከኩባንያው በጀት ጋር በተያያዘ የበለጠ ሰብአዊነት ነው. ከፍተኛ አፈፃፀም አያስፈልግም ከሆነ, ገንዘብ መቆጠብ ይችላሉ.

በ Elastic Stack ውስጥ ያለው ML በC++ ተጽፎ Elasticsearch ራሱ ከሚሠራበት ከJVM ውጭ ይሰራል። ያም ማለት, ሂደቱ (በነገራችን ላይ, autodetect ይባላል) JVM የማይውጠውን ሁሉ ያጠፋል. በማሳያ ማሳያ ላይ, ይህ በጣም ወሳኝ አይደለም, ነገር ግን ምርታማ በሆነ አካባቢ, ለኤምኤል ተግባራት የተለየ አንጓዎችን መመደብ አስፈላጊ ነው.

የማሽን መማሪያ ስልተ ቀመሮች በሁለት ምድቦች ይከፈላሉ - ከመምህሩ ጋር и ያለ አስተማሪ. በ Elastic Stack ውስጥ፣ ስልተ ቀመር ከ"ክትትል ከሌለው" ምድብ ነው። በ ይህ አገናኝ የማሽን መማሪያ ስልተ ቀመሮችን የሂሳብ መሳሪያ ማየት ይችላሉ።

የማሽን መማሪያ ስልተ ቀመር በElasticsearch ኢንዴክሶች ውስጥ የተከማቸ መረጃን ለመተንተን ይጠቀማል። ከኪባና በይነገጽ እና በኤፒአይ በኩል ለመተንተን ስራዎችን መፍጠር ትችላለህ። ይህንን በኪባና በኩል ካደረጉት, አንዳንድ ነገሮችን ማወቅ አያስፈልግዎትም. ለምሳሌ, በሚሠራበት ጊዜ አልጎሪዝም የሚጠቀምባቸው ተጨማሪ ኢንዴክሶች.

በመተንተን ሂደት ውስጥ ጥቅም ላይ የዋሉ ተጨማሪ ኢንዴክሶች.ml-state - ስለ ስታቲስቲክስ ሞዴሎች መረጃ (የመተንተን መቼቶች);
.ml-anomalies-* - የኤምኤል አልጎሪዝም ውጤቶች;
.ml-ማሳወቂያዎች - በመተንተን ውጤቶች ላይ የተመሰረተ የማሳወቂያ ቅንብሮች.

በ Elasticsearch ዳታቤዝ ውስጥ ያለው የውሂብ መዋቅር ኢንዴክሶችን እና በውስጣቸው የተቀመጡ ሰነዶችን ያካትታል. ከተዛማጅ ዳታቤዝ ጋር ሲነጻጸር፣ ኢንዴክስ ከመረጃ ቋት ንድፍ እና ሰነድ በሠንጠረዥ ውስጥ ካለው መዝገብ ጋር ሊወዳደር ይችላል። ይህ ንጽጽር ሁኔታዊ ነው እና ስለ Elasticsearch ብቻ የሰሙትን ተጨማሪ ቁስ ግንዛቤን ለማቃለል የተሰጠ ነው።

ተመሳሳይ ተግባር በኤፒአይ በኩል በድር በይነገጽ በኩል ይገኛል, ስለዚህ ግልጽነት እና ጽንሰ-ሐሳቦችን ለመረዳት, በኪባና እንዴት ማዋቀር እንደሚቻል እናሳያለን. በግራ በኩል ባለው ምናሌ ውስጥ አዲስ ሥራ (ሥራ) መፍጠር የሚችሉበት የማሽን ትምህርት ክፍል አለ. በኪባና በይነገጽ, ከታች ያለውን ምስል ይመስላል. አሁን እያንዳንዱን አይነት ተግባር እንመረምራለን እና እዚህ ሊገነቡ የሚችሉትን የትንታኔ ዓይነቶች እናሳያለን።

ነጠላ ሜትሪክ - የአንድ ሜትሪክ ትንተና ፣ መልቲ ሜትሪክ - ሁለት ወይም ከዚያ በላይ መለኪያዎች ትንተና። በሁለቱም ሁኔታዎች, እያንዳንዱ መለኪያ በገለልተኛ አካባቢ, ማለትም. አልጎሪዝም በመልቲ ሜትሪክ ሁኔታ ላይ እንደሚመስለው በትይዩ የተተነተኑ የመለኪያዎችን ባህሪ ግምት ውስጥ አያስገባም። የተለያዩ መለኪያዎችን ቁርኝት ግምት ውስጥ በማስገባት ለማስላት፣ የህዝቡን ትንተና መተግበር ይችላሉ። እና የላቀ ለተወሰኑ ተግባራት ተጨማሪ አማራጮች ያሉት የአልጎሪዝም ማስተካከያ ነው።

ነጠላ ሜትሪክ

ለውጦችን በአንድ ነጠላ መለኪያ መተንተን እዚህ ማድረግ በጣም ቀላሉ ነገር ነው። ሥራ ፍጠርን ጠቅ ካደረጉ በኋላ ስልተ ቀመር ያልተለመዱ ነገሮችን ይፈልጋል።

በመስክ ውስጥ ውሑድ ያልተለመዱ ነገሮችን ለመፈለግ ዘዴን መምረጥ ይችላሉ. ለምሳሌ, መቼ ዝቅተኛ ከተለመዱት እሴቶች በታች ያሉት እሴቶች ያልተለመዱ እንደሆኑ ይቆጠራሉ። ብላ ከፍተኛ፣ ከፍተኛ አማካኝ፣ ዝቅተኛ፣ አማካኝ፣ የተለየ እና ሌሎችም። የሁሉም ተግባራት መግለጫ ሊገኝ ይችላል ማያያዣ.

በመስክ ውስጥ መስክ በሰነዱ ውስጥ ያለው የቁጥር መስክ ተጠቁሟል ፣ በዚህ መሠረት ትንታኔውን እናከናውናለን።

በመስክ ውስጥ የባልዲ ስፋት - በጊዜ ሰሌዳው ላይ ያሉት ክፍተቶች ጥራጥሬዎች, በዚህ መሠረት ትንታኔው ይከናወናል. አውቶማቲክን ማመን ወይም በእጅ መምረጥ ይችላሉ. ከታች ያለው ምስል በጣም ዝቅተኛ ጥራት ያለው ምሳሌ ያሳያል - ያልተለመደው ሊያመልጥዎት ይችላል። በዚህ ቅንብር የአልጎሪዝምን ስሜት ወደ ያልተለመዱ ነገሮች መለወጥ ይችላሉ።

የተሰበሰበው መረጃ የቆይታ ጊዜ የመተንተን ውጤታማነት ላይ ተጽእኖ የሚያሳድር ቁልፍ ነገር ነው. በመተንተን ወቅት, ስልተ ቀመር ክፍተቶችን መድገም ይወስናል, የመተማመን ክፍተቱን ያሰላል (መሰረታዊ መስመሮች), እና ያልተለመዱ ነገሮችን ይመረምራል - ከተለመደው የመለኪያ ባህሪ መዛባት. ለምሳሌ፡-

ለአነስተኛ የውሂብ ክፍል መነሻዎች፡-

አልጎሪዝም የሚማረው ነገር ሲኖረው የመነሻ መስመሮቹ ይህን ይመስላል።

ሥራውን ከጀመረ በኋላ ስልተ ቀመር ከመደበኛው ያልተለመዱ ልዩነቶችን ይወስናል እና እንደ ያልተለመደው ዕድል ደረጃ ያስቀምጣቸዋል (ተዛማጁ መለያ ቀለም በቅንፍ ውስጥ ይታያል)

ማስጠንቀቂያ (ሰማያዊ)፡ ከ25 በታች
አነስተኛ (ቢጫ): 25-50
ሜጀር (ብርቱካን): 50-75
ወሳኝ (ቀይ): 75-100

ከታች ያለው ግራፍ ከተገኙ ያልተለመዱ ነገሮች ጋር አንድ ምሳሌ ያሳያል.

እዚህ ቁጥር 94 ማየት ይችላሉ, ይህም የአናማነት እድልን ያመለክታል. እሴቱ ወደ 100 ስለሚጠጋ ግልጽ የሆነ ነገር እንዳለን ግልጽ ነው። ከግራፉ በታች ያለው አምድ የሚያመለክተው ከሜትሪክ እሴቱ 0.000063634% ትንሽ የመሆን እድልን ያሳያል።

በኪባና ውስጥ ያልተለመዱ ነገሮችን ከመፈለግ በተጨማሪ ትንበያን ማካሄድ ይችላሉ። ይህ የሚከናወነው በአንደኛ ደረጃ እና ከተመሳሳይ ውክልና ከአናማዎች ጋር ነው - አዝራሩ ተነበየ በላይኛው ቀኝ ጥግ ላይ.

ትንበያው እስከ 8 ሳምንታት ድረስ ተገንብቷል። የምር ከፈለጋችሁም ከንግዲህ በንድፍ አትችሉም።

በአንዳንድ ሁኔታዎች, ትንበያው በጣም ጠቃሚ ይሆናል, ለምሳሌ, የተጠቃሚውን ጭነት በመሠረተ ልማት ላይ ሲቆጣጠር.

መልቲሜትሪክ

በ Elastic Stack ውስጥ ወደሚቀጥለው የኤምኤል ባህሪ እንሂድ - በአንድ ስብስብ ውስጥ የበርካታ መለኪያዎችን ትንተና። ይህ ማለት ግን የአንድ መለኪያ ጥገኝነት ይተነተናል ማለት አይደለም። ይህ አንዱ በሌላው ላይ ያለውን ተጽእኖ በቀላሉ ለማነፃፀር በአንድ ስክሪን ላይ ከብዙ ልኬቶች ጋር ብቻ ከአንድ ነጠላ ሜትሪክ ጋር ተመሳሳይ ነው። በሕዝብ ክፍል ውስጥ የአንድ መለኪያ ጥገኛነት ትንተና እንነጋገራለን.

መልቲ ሜትሪክ ባለው ካሬ ላይ ጠቅ ካደረጉ በኋላ ቅንጅቶች ያሉት መስኮት ይመጣል። በእነሱ ላይ የበለጠ በዝርዝር እንቆይ.

በመጀመሪያ ለመተንተን መስኮችን መምረጥ እና በእነሱ ላይ የውሂብ ማሰባሰብ ያስፈልግዎታል. እዚህ ያሉት የማጠቃለያ አማራጮች ከነጠላ ሜትሪክ ጋር ተመሳሳይ ናቸው (ከፍተኛ፣ ከፍተኛ አማካኝ፣ ዝቅተኛ፣ አማካኝ፣ የተለየ እና ሌሎች)። ተጨማሪ፣ ከተፈለገ ውሂቡ ወደ አንድ መስኮች ይከፈላል (መስክ የተከፈለ ውሂብ). በምሳሌው ውስጥ በሜዳው ላይ አደረግን OriginAirport መታወቂያ. በቀኝ በኩል ያለው የመለኪያ ግራፍ አሁን እንደ ግራፎች ስብስብ መወከሉን ልብ ይበሉ።

መስክ ቁልፍ መስኮች (ተፅዕኖ ፈጣሪዎች) የተገኙትን ያልተለመዱ ነገሮችን በቀጥታ ይነካል. በነባሪ, ሁልጊዜ ቢያንስ አንድ እሴት ይኖራል, እና ተጨማሪ ማከል ይችላሉ. አልጎሪዝም በመተንተን ውስጥ የእነዚህን መስኮች ተጽእኖ ግምት ውስጥ ያስገባ እና በጣም "ተፅዕኖ ፈጣሪ" እሴቶችን ያሳያል.

ከተነሳ በኋላ የሚከተለው ምስል በኪባና በይነገጽ ውስጥ ይታያል.

ይህ ነው የሚባለው። ለእያንዳንዱ የመስክ እሴት የሙቀት ካርታ OriginAirport መታወቂያውስጥ አመልክተናል የተከፈለ ውሂብ. እንደ ነጠላ ሜትሪክ ፣ ቀለሙ የውጪውን ደረጃ ያሳያል። ተመሳሳይ ትንታኔ ለማድረግ ምቹ ነው, ለምሳሌ, በጥርጣሬ ብዙ ፈቃዶች, ወዘተ ያሉትን ለመከታተል በስራ ቦታዎች ላይ. አስቀድመን ጽፈናል በWindows EventLog ውስጥ ስላሉ አጠራጣሪ ክስተቶች, እሱም ደግሞ እዚህ ሊሰበሰብ እና ሊተነተን ይችላል.

ከሙቀት ካርታው በታች ያልተለመዱ ነገሮች ዝርዝር አለ, ከእያንዳንዱ ለዝርዝር ትንተና ወደ ነጠላ ሜትሪክ እይታ መሄድ ይችላሉ.

የሕዝብ ብዛት

በተለያዩ መለኪያዎች መካከል ባለው ግንኙነት መካከል ያልተለመዱ ነገሮችን ለመፈለግ፣ የላስቲክ ቁልል ልዩ የስነ ሕዝብ ትንታኔ አለው። በአገልጋዩ አፈፃፀም ውስጥ ከሌሎቹ ጋር ሲነፃፀሩ ያልተለመዱ እሴቶችን መፈለግ የሚችለው በእሱ እርዳታ ነው ፣ ለምሳሌ ፣ ለታለመው ስርዓት የጥያቄዎች ብዛት ሲጨምር።

በዚህ ስዕላዊ መግለጫ ውስጥ፣ የህዝቡ መስክ የተተነተኑ መለኪያዎች የሚያመለክቱትን ዋጋ ያሳያል። በዚህ ሁኔታ, ይህ የሂደቱ ስም ነው. በውጤቱም, የእያንዳንዳቸው ሂደቶች ፕሮሰሰር ጭነት እንዴት እርስ በርስ እንደሚነካ እናያለን.

እባክዎን የተተነተነው መረጃ ሴራ ነጠላ ሜትሪክ እና መልቲ ሜትሪክ ካላቸው ጉዳዮች የተለየ መሆኑን ልብ ይበሉ። ይህ በኪባና በንድፍ የተሰራው የተተነተነውን መረጃ ዋጋዎች ስርጭት ግንዛቤን ለማሻሻል ነው.

ግራፉ እንደሚያሳየው ሂደቱ ያልተለመደ ባህሪ እንዳለው ያሳያል ውጥረት (በነገራችን ላይ በልዩ መገልገያ የተፈጠረ) በአገልጋዩ ላይ poipuበዚህ ያልተለመደ ክስተት ላይ ተጽዕኖ ያሳደረ (ወይም ተፅዕኖ ፈጣሪ ሆኖ ተገኝቷል)።

የላቀ

ትንታኔ በጥሩ ማስተካከያ። በኪባና ውስጥ የላቀ ትንተና, ተጨማሪ ቅንብሮች ይታያሉ. በፍጠር ምናሌው ውስጥ የላቀ ንጣፍ ላይ ጠቅ ካደረጉ በኋላ የሚከተለው የትር መስኮት ይታያል. ትር የስራ ዝርዝሮች ሆን ተብሎ የተዘለለ፣ ከትንተና ቅንብር ጋር በቀጥታ ያልተገናኙ መሰረታዊ ቅንጅቶች አሉ።

В ማጠቃለያ_የመስክ_ስም እንደ አማራጭ, የተዋሃዱ እሴቶችን ከያዙ ሰነዶች ውስጥ የመስኩን ስም መግለጽ ይችላሉ. በዚህ ምሳሌ በደቂቃ የክስተቶች ብዛት። ውስጥ ምድብ_መስክ_ስም ከሰነዱ የሜዳውን ዋጋ ስም ይገልፃል, እሱም አንዳንድ ተለዋዋጭ እሴቶችን ይዟል. በዚህ መስክ ላይ ባለው ጭንብል ፣ የተተነተነውን መረጃ ወደ ንዑስ ስብስቦች መከፋፈል ይችላሉ። ለአዝራሩ ትኩረት ይስጡ መፈለጊያ አክል በቀድሞው ምሳሌ ላይ. ከዚህ በታች ይህን አዝራር ጠቅ ማድረግ ውጤት ነው.

ለተወሰነ ተግባር ያልተለመደ ማወቂያን ለማዘጋጀት ተጨማሪ የቅንጅቶች እገዳ እዚህ አለ። በሚቀጥሉት መጣጥፎች ውስጥ የተወሰኑ የአጠቃቀም ጉዳዮችን (በተለይ የደህንነት ጉዳዮችን) ለመተንተን አቅደናል። ለምሳሌ, ይመልከቱ ከጉዳይ ጥናቶች አንዱ. እሱ እምብዛም የማይገኙ እሴቶችን ፍለጋ ጋር የተቆራኘ እና ተግባራዊ ነው። ያልተለመደ ተግባር.

በመስክ ውስጥ ሥራ ያልተለመዱ ነገሮችን ለመፈለግ አንድ የተወሰነ ተግባር መምረጥ ይችላሉ. በስተቀር አልፎ አልፎ, ሁለት አስደሳች ተግባራት አሉ - የቀኑ_ጊዜ и የሳምንት_ጊዜ. ቀኑን ወይም ሳምንቱን በሙሉ በቅደም ተከተል በመለኪያዎች ባህሪ ላይ ያልተለመዱ ነገሮችን ያሳያሉ። ሌሎች የትንታኔ ተግባራት በሰነዱ ውስጥ ነው.

В የመስክ_ስም ትንታኔው የሚካሄድበት የሰነዱ መስክ ይገለጻል. በመስክ_ስም እዚህ ለተጠቀሰው የሰነድ መስክ እያንዳንዱ እሴት የትንታኔ ውጤቶችን ለመለየት ጥቅም ላይ ሊውል ይችላል. ከተሞላ በላይ_መስክ_ስም ከላይ የተመለከትነውን የህዝብ-ትንተና እናገኛለን. ውስጥ እሴት ከገለጹ የክፋይ_መስክ_ስም, ከዚያ ለእያንዳንዱ እሴት የተለየ መነሻ መስመሮች ለዚህ የሰነዱ መስክ ይሰላሉ (ለምሳሌ በአገልጋዩ ላይ ያለው የአገልጋዩ ስም ወይም ሂደት እንደ እሴት ሊሠራ ይችላል)። ውስጥ ተደጋጋሚ_አያካትትም። መምረጥ ይችላሉ ሁሉ ወይም አንድም, ይህም ማለት በተለምዶ የሚከሰቱ የሰነድ መስክ እሴቶችን አለማካተት (ወይም ማካተት) ማለት ነው።

በአንቀጹ ውስጥ ፣ በ Elastic Stack ውስጥ የማሽን የመማር እድሎችን በጣም አጭር ሀሳብ ለመስጠት ሞክረናል ፣ አሁንም ከትዕይንቱ በስተጀርባ ብዙ ዝርዝሮች አሉ። በ Elastic Stack እገዛ ምን አይነት ጉዳዮችን መፍታት እንደቻሉ በአስተያየቶቹ ውስጥ ይንገሩን እና ለየትኞቹ ተግባራት እንደሚጠቀሙበት ። እኛን ለማግኘት፣ በ Habré ላይ የግል መልዕክቶችን መጠቀም ትችላለህ በጣቢያው ላይ የግብረመልስ ቅጽ.

ምንጭ: hab.com