ඉලාස්ටික් ස්ටැක් පදනම් වී ඇත්තේ සම්බන්ධතා නොවන ඉලාස්ටික් සෙවුම් දත්ත සමුදාය, කිබානා වෙබ් අතුරු මුහුණත සහ දත්ත එකතු කරන්නන් සහ ප්‍රොසෙසරය (වඩාත් ප්‍රසිද්ධ ලොග්ස්ටාෂ්, විවිධ බීට්, ඒපීඑම් සහ වෙනත්) මත බව අපි සිහිපත් කරමු. සම්පූර්ණ ලැයිස්තුගත නිෂ්පාදන තොගයට හොඳ එකතු කිරීමක් වන්නේ යන්ත්‍ර ඉගෙනුම් ඇල්ගොරිතම භාවිතයෙන් දත්ත විශ්ලේෂණයයි. මෙම ඇල්ගොරිතම මොනවාදැයි ලිපියෙන් අපි තේරුම් ගනිමු. කරුණාකර පූසා යටතේ.
යන්ත්‍ර ඉගෙනීම යනු කොටස් මෘදුකාංග ඉලාස්ටික් ස්ටැක් හි ගෙවන ලද අංගයක් වන අතර එය X-පැක් හි ඇතුළත් වේ. එය භාවිතා කිරීම ආරම්භ කිරීමට, ස්ථාපනය කිරීමෙන් පසු දින 30ක අත්හදා බැලීම සක්‍රිය කරන්න. අත්හදා බැලීමේ කාලය අවසන් වූ පසු, ඔබට එය දීර්ඝ කිරීමට හෝ දායකත්වයක් මිලදී ගැනීමට සහාය ඉල්ලා සිටිය හැක. දායකත්වයක පිරිවැය ගණනය කරනු ලබන්නේ දත්ත පරිමාව මත නොව, භාවිතා කරන නෝඩ් ගණන මත ය. නැත, දත්ත පරිමාව, ඇත්ත වශයෙන්ම, අවශ්ය නෝඩ් ගණනට බලපායි, නමුත් තවමත් බලපත්ර ලබා ගැනීම සඳහා මෙම ප්රවේශය සමාගමේ අයවැය සම්බන්ධයෙන් වඩා මානුෂීය වේ. ඉහළ ඵලදායිතාවයක් අවශ්ය නොවේ නම්, ඔබට මුදල් ඉතිරි කර ගත හැකිය.
Elastic Stack හි ML C++ වලින් ලියා ඇති අතර, Elasticsearch ම ක්‍රියාත්මක වන JVM වලින් පිටත ධාවනය වේ. එනම්, ක්රියාවලිය (මාර්ගය වන විට, එය ස්වයංක්‍රීය හඳුනාගැනීමක් ලෙස හැඳින්වේ) JVM ගිල නොගන්නා සෑම දෙයක්ම පරිභෝජනය කරයි. ආදර්ශන ස්ථාවරයකදී මෙය එතරම් තීරණාත්මක නොවේ, නමුත් නිෂ්පාදන පරිසරයකදී ML කාර්යයන් සඳහා වෙනම නෝඩ් වෙන් කිරීම වැදගත් වේ.
යන්ත්‍ර ඉගෙනීමේ ඇල්ගොරිතම වර්ග දෙකකට වැටේ - и . ඉලාස්ටික් ස්ටැක් තුළ, ඇල්ගොරිතම "අධීක්ෂණය නොකළ" කාණ්ඩයේ ඇත. විසින් යන්ත්‍ර ඉගෙනීමේ ඇල්ගොරිතමවල ගණිතමය උපකරණ ඔබට දැක ගත හැකිය.
විශ්ලේෂණය සිදු කිරීම සඳහා, යන්ත්‍ර ඉගෙනුම් ඇල්ගොරිතම ඉලාස්ටික් සෙවුම් දර්ශකවල ගබඩා කර ඇති දත්ත භාවිතා කරයි. ඔබට කිබානා අතුරුමුහුණතෙන් සහ API හරහා විශ්ලේෂණය සඳහා කාර්යයන් නිර්මාණය කළ හැකිය. ඔබ මෙය කිබානා හරහා කරන්නේ නම්, ඔබට සමහර දේවල් දැන ගැනීමට අවශ්ය නැත. උදාහරණයක් ලෙස, ඇල්ගොරිතම එහි ක්රියාකාරිත්වය තුළ භාවිතා කරන අතිරේක දර්ශක.
විශ්ලේෂණ ක්රියාවලියේදී භාවිතා කරන අතිරේක දර්ශක.ml-state - සංඛ්යාන ආකෘති පිළිබඳ තොරතුරු (විශ්ලේෂණ සැකසුම්);
.ml-anomalies-* — ML ඇල්ගොරිතම වල ප්රතිඵල;
.ml-notifications — විශ්ලේෂණ ප්රතිඵල මත පදනම්ව දැනුම්දීම් සඳහා සැකසුම්.
Elasticsearch දත්ත ගබඩාවේ දත්ත ව්‍යුහය දර්ශක සහ ඒවායේ ගබඩා කර ඇති ලේඛන වලින් සමන්විත වේ. සම්බන්ධතා දත්ත සමුදායක් හා සසඳන විට, දර්ශකයක් දත්ත සමුදා ක්‍රමයකට සහ ලේඛනයක් වගුවක ඇති වාර්තාවකට සංසන්දනය කළ හැකිය. මෙම සංසන්දනය කොන්දේසි සහිත වන අතර Elasticsearch ගැන පමණක් අසා ඇති අය සඳහා වැඩිදුර තොරතුරු තේරුම් ගැනීම සරල කිරීම සඳහා සපයනු ලැබේ.
වෙබ් අතුරු මුහුණත හරහා මෙන්ම API හරහාද එම ක්‍රියාකාරීත්වය ලබා ගත හැක, එබැවින් සංකල්ප පිළිබඳ පැහැදිලිකම සහ අවබෝධය සඳහා, අපි එය Kibana හරහා වින්‍යාස කරන්නේ කෙසේදැයි පෙන්වමු. වම් පස ඇති මෙනුවේ ඔබට නව රැකියාවක් නිර්මාණය කළ හැකි Machine Learning අංශයක් ඇත. Kibana අතුරුමුහුණතෙහි එය පහත රූපයේ පරිදි පෙනේ. දැන් අපි එක් එක් ආකාරයේ කාර්යයන් විශ්ලේෂණය කර මෙහි ගොඩනගා ගත හැකි විශ්ලේෂණ වර්ග පෙන්වමු.
තනි මෙට්රික් - එක් මෙට්රික් විශ්ලේෂණය, බහු මෙට්රික් - ප්‍රමිතික දෙකක් හෝ වැඩි ගණනක විශ්ලේෂණය. අවස්ථා දෙකේදීම, සෑම මෙට්රික් එකක්ම හුදකලා පරිසරයක විශ්ලේෂණය කරනු ලැබේ, i.e. බහු මෙට්රික් සම්බන්ධයෙන් පෙනෙන පරිදි සමාන්තර විශ්ලේෂණ ප්‍රමිතිකවල හැසිරීම ඇල්ගොරිතම සැලකිල්ලට නොගනී. විවිධ ප්‍රමිතිකවල සහසම්බන්ධතාවය සැලකිල්ලට ගනිමින් ගණනය කිරීම් සිදු කිරීම සඳහා, ඔබට ජනගහන විශ්ලේෂණය භාවිතා කළ හැකිය. තවද Advanced යනු ඇතැම් කාර්යයන් සඳහා අමතර විකල්ප සමඟ ඇල්ගොරිතම මනාව සකස් කිරීමයි.
තනි මෙට්රික්
එක් මෙට්රික් එකක වෙනස්කම් විශ්ලේෂණය කිරීම මෙහි කළ හැකි සරලම දෙයයි. Create Job මත ක්ලික් කිරීමෙන් පසු, ඇල්ගොරිතම විෂමතා සොයනු ඇත.
ක්ෂේත්රයේ සංයුක්ත කිරීම ඔබට විෂමතා සෙවීමට ප්‍රවේශයක් තෝරා ගත හැකිය. උදාහරණයක් ලෙස, කවදාද යි සාමාන්‍ය අගයන්ට අඩු අගයන් විෂම ලෙස සලකනු ලැබේ. කන්න උපරිම, ඉහළ මධ්යන්ය, පහත්, මධ්යන්ය, වෙනස් සහ වෙනත් අය. සියලුම කාර්යයන් පිළිබඳ විස්තර සොයාගත හැකිය .
ක්ෂේත්රයේ ක්ෂේත්ර අපි විශ්ලේෂණය සිදු කරන ලේඛනයේ සංඛ්‍යාත්මක ක්ෂේත්රය දක්වයි.
ක්ෂේත්රයේ - විශ්ලේෂණය සිදු කරනු ලබන කාලරාමුව මත විරාම වල කැටිති. ඔබට ස්වයංක්‍රීයකරණය විශ්වාස කිරීමට හෝ අතින් තෝරා ගැනීමට හැකිය. පහත රූපය කැටිති ඉතා අඩු වීම සඳහා උදාහරණයකි - ඔබට විෂමතාව මග හැරිය හැක. මෙම සැකසුම භාවිතයෙන්, ඔබට ඇල්ගොරිතමයේ සංවේදීතාව විෂමතා වලට වෙනස් කළ හැකිය.
එකතු කරන ලද දත්තවල කාලසීමාව විශ්ලේෂණයේ සඵලතාවයට බලපාන ප්‍රධාන දෙයකි. විශ්ලේෂණය අතරතුර, ඇල්ගොරිතම පුනරාවර්තන කාල පරතරයන් හඳුනා ගනී, විශ්වාස අන්තරායන් (මූලික) ගණනය කරයි සහ විෂමතා හඳුනා ගනී - මෙට්රික් වල සාමාන්‍ය හැසිරීමෙන් අසාමාන්ය අපගමනය. උදාහරණයක් ලෙස:
කුඩා දත්ත කැබැල්ලක් සහිත මූලික කරුණු:
ඇල්ගොරිතමයට ඉගෙන ගැනීමට යමක් ඇති විට, මූලික රේඛාව මෙලෙස දිස්වේ:
කාර්යය ආරම්භ කිරීමෙන් පසු, ඇල්ගොරිතම සම්මතයෙන් විෂමතා අපගමනය තීරණය කරන අතර විෂමතාවයක සම්භාවිතාව අනුව ඒවා ශ්‍රේණිගත කරයි (අනුරූප ලේබලයේ වර්ණය වරහන් තුළ දක්වා ඇත):
අවවාදයයි (නිල්): 25 ට අඩු
කුඩා (කහ): 25-50
මේජර් (තැඹිලි): 50-75
විවේචනාත්මක (රතු): 75-100
පහත ප්‍රස්ථාරයෙන් සොයාගත් විෂමතා පිළිබඳ උදාහරණයක් පෙන්වයි.
මෙහිදී ඔබට අංක 94 දැකිය හැකිය, එය විෂමතාවයක සම්භාවිතාව පෙන්නුම් කරයි. අගය 100 ට ආසන්න බැවින් අපට විෂමතාවයක් ඇති බව පැහැදිලිය. ප්‍රස්ථාරයට පහළින් ඇති තීරුව එහි දිස්වන මෙට්රික් අගයෙන් 0.000063634% ක විචක්ෂණශීලී කුඩා සම්භාවිතාව පෙන්වයි.
විෂමතා සෙවීමට අමතරව, ඔබට කිබානා හි අනාවැකි ධාවනය කළ හැකිය. මෙය සරලව හා විෂමතා සමඟ එකම දර්ශනයකින් සිදු කෙරේ - බොත්තම අනාවැකිය ඉහළ දකුණු කෙළවරේ.
පුරෝකථනය උපරිම වශයෙන් සති 8 කට පෙර සිදු කෙරේ. ඔබට සැබවින්ම අවශ්ය වුවද, එය තවදුරටත් නිර්මාණයෙන් කළ නොහැකි ය.
සමහර අවස්ථාවන්හිදී, පුරෝකථනය ඉතා ප්රයෝජනවත් වනු ඇත, උදාහරණයක් ලෙස, යටිතල පහසුකම් මත පරිශීලක පැටවීම නිරීක්ෂණය කිරීමේදී.
බහු මෙට්රික්
අපි ප්‍රත්‍යාස්ථ තොගයේ මීළඟ ML විශේෂාංගය වෙත යමු - එක් කණ්ඩායමක ප්‍රමිතික කිහිපයක් විශ්ලේෂණය කිරීම. නමුත් එක් මෙට්රික් එකක් තවත් මෙට්රික් එකක් මත යැපීම විශ්ලේෂණය කරන බව මින් අදහස් නොවේ. මෙය Single Metric හා සමාන වේ, නමුත් එක තිරයක ඇති බලපෑම තවත් එකක් මත පහසුවෙන් සැසඳීම සඳහා බහු මෙට්රික් සමග. ජනගහන අංශයේ එක් මෙට්රික් එකක් තවත් මෙට්රික් එකක් මත යැපීම විශ්ලේෂණය කිරීම ගැන අපි කතා කරමු.
Multi Metric සහිත චතුරස්රය මත ක්ලික් කිරීමෙන් පසු, සැකසුම් සහිත කවුළුවක් දිස්වනු ඇත. අපි ඒවා වඩාත් විස්තරාත්මකව බලමු.
පළමුව ඔබ ඒවා මත විශ්ලේෂණය සහ දත්ත එකතු කිරීම සඳහා ක්ෂේත්ර තෝරාගත යුතුය. මෙහි එකතු කිරීමේ විකල්ප තනි මෙට්රික් සඳහා සමාන වේ (උපරිම, ඉහළ මධ්යන්ය, පහත්, මධ්යන්ය, වෙනස් සහ වෙනත්). තවද, අවශ්ය නම්, දත්ත එක් ක්ෂේත්‍රයකට බෙදා ඇත (ක්ෂේත්ර දත්ත බෙදීම) උදාහරණයේදී, අපි මෙය ක්ෂේත්‍රයෙන් කළෙමු OriginAirportID. දකුණු පස ඇති මෙට්රික් ප්රස්ථාරය දැන් බහු ප්‍රස්තාර ලෙස ඉදිරිපත් කර ඇති බව සලකන්න.
ක්ෂේත්රයේ ප්‍රධාන ක්ෂේත්ර (බලපෑම් කරන්නන්) හඳුනාගත් විෂමතාවලට සෘජුවම බලපායි. පෙරනිමියෙන් මෙහි සෑම විටම අවම වශයෙන් එක් අගයක් පවතිනු ඇති අතර ඔබට අමතර ඒවා එකතු කළ හැක. ඇල්ගොරිතම විශ්ලේෂණය කිරීමේදී මෙම ක්ෂේත්‍රවල බලපෑම සැලකිල්ලට ගෙන වඩාත්ම “බලපෑ හැකි” අගයන් පෙන්වයි.
දියත් කිරීමෙන් පසු, කිබානා අතුරුමුහුණතෙහි මෙවැනි දෙයක් දිස්වනු ඇත.
මෙය ඊනියා ය එක් එක් ක්ෂේත්ර අගය සඳහා විෂමතා තාප සිතියම OriginAirportID, අපි සඳහන් කළ දත්ත බෙදීම. තනි මෙට්රික් මෙන්, වර්ණය අසාමාන්ය අපගමනය මට්ටම පෙන්නුම් කරයි. ඒ හා සමාන විශ්ලේෂණයක් කිරීම පහසුය, උදාහරණයක් ලෙස, සැක සහිත ලෙස විශාල අවසර ප්‍රමාණයක් ඇති අය නිරීක්ෂණය කිරීම සඳහා වැඩපොළවල් මත යනාදිය. අපි දැනටමත් ලියා ඇත , එය ද මෙහි එකතු කර විශ්ලේෂණය කළ හැකිය.
තාප සිතියමට පහළින් විෂමතා ලැයිස්තුවක් ඇත, එක් එක් ඔබට සවිස්තරාත්මක විශ්ලේෂණය සඳහා තනි මෙට්රික් දර්ශනය වෙත මාරු විය හැක.
ජනගහන
විවිධ ප්‍රමිතික අතර සහසම්බන්ධතා අතර විෂමතා සෙවීමට, ඉලාස්ටික් තොගයට විශේෂිත වූ ජනගහන විශ්ලේෂණයක් ඇත. උදාහරණයක් ලෙස, ඉලක්ක පද්ධතියට ඉල්ලීම් ගණන වැඩි වන විට අනෙක් ඒවාට සාපේක්ෂව සේවාදායකයක ක්‍රියාකාරිත්වයේ විෂමතා අගයන් සෙවිය හැක්කේ එහි ආධාරයෙන් ය.
මෙම නිදර්ශනයෙහි, ජනගහන ක්ෂේත්රය මගින් විශ්ලේෂණය කරන ලද ප්‍රමිතික සම්බන්ධ වන අගය පෙන්නුම් කරයි. මෙම නඩුවේදී එය ක්රියාවලියේ නමයි. එහි ප්‍රතිඵලයක් වශයෙන්, එක් එක් ක්රියාවලියේ ප්‍රොසෙසර භාරය එකිනෙකට බලපෑ ආකාරය අපි බලමු.
විශ්ලේෂණය කරන ලද දත්තවල ප්රස්ථාරය තනි මෙට්රික් සහ බහු මෙට්රික් සහිත අවස්ථා වලින් වෙනස් වන බව කරුණාවෙන් සලකන්න. විශ්ලේෂණය කරන ලද දත්තවල අගයන් බෙදා හැරීම පිළිබඳ වැඩි දියුණු කළ සංජානනය සඳහා සැලසුම් කිරීම මගින් මෙය කිබානා හි සිදු කරන ලදී.
මෙම ක්රියාවලිය අසාමාන්ය ලෙස හැසිරුණු බව ප්රස්ථාරය පෙන්වයි මානසික ආතතිය (මාර්ගයෙන්, විශේෂ උපයෝගීතාවයක් මගින් ජනනය කරන ලද) සේවාදායකයේ පොයිපු, මෙම විෂමතාවය ඇතිවීමට බලපෑම් කළ (හෝ බලපෑම් කරන්නෙකු බවට පත් වූ)
උසස්
සියුම් සුසර කිරීම සහිත විශ්ලේෂණ. උසස් විශ්ලේෂණය සමඟ, අමතර සැකසුම් Kibana හි දිස්වේ. නිර්මාණ මෙනුවේ උසස් ටයිල් මත ක්ලික් කිරීමෙන් පසුව, ටැබ් සහිත මෙම කවුළුව දිස්වේ. ටැබ් රැකියා විස්තර අපි එය හිතාමතාම මඟ හැරියෙමු, විශ්ලේෂණය සැකසීමට සෘජුවම සම්බන්ධ නොවන මූලික සැකසුම් තිබේ.
В සාරාංශ_ගණන්_ක්ෂේත්ර_නම විකල්ප වශයෙන්, ඔබට එකතු කළ අගයන් අඩංගු ලේඛන වලින් ක්ෂේත්‍රයක නම සඳහන් කළ හැක. මෙම උදාහරණයේ, මිනිත්තුවකට සිදුවීම් ගණන. තුල යම් විචල්‍ය අගයක් අඩංගු ලේඛනයෙන් ක්ෂේත්‍රයක නම සහ අගය දක්වයි. මෙම ක්ෂේත්රයේ වෙස්මුහුණ භාවිතා කිරීමෙන්, ඔබට විශ්ලේෂණය කළ දත්ත උප කුලකවලට බෙදිය හැකිය. බොත්තම කෙරෙහි අවධානය යොමු කරන්න අනාවරකය එක් කරන්න පෙර නිදර්ශනයේ. මෙම බොත්තම ක්ලික් කිරීමේ ප්රතිඵලය පහත දැක්වේ.
විශේෂිත කාර්යයක් සඳහා විෂමතා අනාවරකය වින්‍යාස කිරීම සඳහා අමතර සැකසුම් බ්ලොක් එකක් මෙන්න. නිශ්චිත භාවිත අවස්ථා (විශේෂයෙන් ආරක්‍ෂිත ඒවා) පහත ලිපිවල සාකච්ඡා කිරීමට අපි සැලසුම් කරමු. උදාහරණ වශයෙන්, විසුරුවා හරින ලද නඩු වලින් එකක්. එය කලාතුරකින් පෙනෙන අගයන් සෙවීම සමඟ සම්බන්ධ වී ක්‍රියාත්මක වේ .
ක්ෂේත්රයේ ක්රියාව විෂමතා සෙවීමට ඔබට නිශ්චිත කාර්යයක් තෝරාගත හැක. හැර කලාතුරකින්, තවත් රසවත් කාර්යයන් කිහිපයක් තිබේ - . ඔවුන් පිළිවෙලින් දවස හෝ සතිය පුරා ප්‍රමිතික හැසිරීම් වල විෂමතා හඳුනා ගනී. වෙනත් විශ්ලේෂණ කාර්යයන් .
В ක්ෂේත්ර නාමය විශ්ලේෂණය සිදු කරනු ලබන ලේඛනයේ ක්ෂේත්රය පෙන්නුම් කරයි. ක්ෂේත්රයේ_නම අනුව මෙහි දක්වා ඇති ලේඛන ක්ෂේත්රයේ එක් එක් අගය සඳහා විශ්ලේෂණ ප්රතිඵල වෙන් කිරීමට භාවිතා කළ හැක. ඔබ පුරවන්නේ නම් over_field_name අප ඉහත සාකච්ඡා කළ ජනගහන විශ්ලේෂණය ඔබට ලැබේ. ඔබ අගයක් සඳහන් කරන්නේ නම් partition_field_name, එවිට ලේඛනයේ මෙම ක්ෂේත්රය සඳහා එක් එක් අගය සඳහා වෙන වෙනම මූලික රේඛා ගණනය කරනු ලැබේ (අගය, උදාහරණයක් ලෙස, සේවාදායකයේ නම හෝ සේවාදායකයේ ක්රියාවලිය විය හැකිය). තුල බැහැර_නිතර තෝරා ගත හැකිය සියලු හෝ නැහැ, එයින් අදහස් වන්නේ නිතර සිදුවන ලේඛන ක්ෂේත්ර අගයන් බැහැර කිරීම (හෝ ඇතුළුව).
මෙම ලිපියෙන් අපි ඉලාස්ටික් ස්ටැක් හි යන්ත්‍ර ඉගෙනීමේ හැකියාවන් පිළිබඳව හැකි තරම් සංක්ෂිප්ත අදහසක් ලබා දීමට උත්සාහ කළෙමු; තිරය පිටුපස තවමත් බොහෝ විස්තර ඉතිරිව ඇත. ඉලාස්ටික් ස්ටැක් භාවිතයෙන් ඔබ විසඳා ගැනීමට සමත් වූ අවස්ථා මොනවාද සහ ඔබ එය භාවිතා කරන්නේ කුමන කාර්යයන් සඳහාද යන්න අදහස් දැක්වීමේදී අපට කියන්න. අප හා සම්බන්ධ වීමට, ඔබට Habré හෝ මත පුද්ගලික පණිවිඩ භාවිතා කළ හැක .
මූලාශ්රය: www.habr.com