የኋላ፣ የማሽን መማር እና አገልጋይ አልባ - ከጁላይ ሀብር ኮንፈረንስ በጣም አስደሳች ነገሮች

የሀብር ኮንፈረንስ የመጀመሪያ ታሪክ አይደለም። ከዚህ ቀደም ለ 300-400 ሰዎች በትክክል ትልቅ የቶስተር ዝግጅቶችን እናካሂዳለን ፣ አሁን ግን ትናንሽ ጭብጥ ስብሰባዎች ጠቃሚ እንዲሆኑ ወስነናል ፣ እርስዎም በአስተያየቶቹ ውስጥ ሊያዘጋጁት የሚችሉት አቅጣጫ። የዚህ ቅርፀት የመጀመሪያው ኮንፈረንስ የተካሄደው በጁላይ ነው እና ልማትን ለመደገፍ ቁርጠኛ ነበር። ተሳታፊዎች ከጀርባ ወደ ኤምኤል የተሸጋገሩ ባህሪያት እና ስለ ኳድሩፔል አገልግሎት ዲዛይን በስቴት አገልግሎቶች ፖርታል ላይ ሪፖርቶችን ያዳምጡ እና እንዲሁም ለሰርቨር አልባ በተዘጋጀ ክብ ጠረጴዛ ላይ ተሳትፈዋል ። በዝግጅቱ ላይ በአካል መገኘት ለማይችሉ, በዚህ ጽሑፍ ውስጥ በጣም አስደሳች ነገሮችን እንነግራችኋለን.

ከጀርባ ልማት ወደ ማሽን ትምህርት

የመረጃ መሐንዲሶች በኤምኤል ውስጥ ምን ያደርጋሉ? የደጋፊ ገንቢ እና የኤምኤል መሐንዲስ ተግባራት እንዴት ተመሳሳይ እና የተለያዩ ናቸው? የመጀመሪያውን ሙያዎን ወደ ሁለተኛ ደረጃ ለመለወጥ ምን መንገድ ያስፈልግዎታል? ይህንን የተናገረው ከ10 አመታት የድጋፍ ስራ በኋላ ወደ ማሽን ትምህርት የገባው አሌክሳንደር ፓሪኖቭ ነው።

አሌክሳንደር ፓሪኖቭ

ዛሬ አሌክሳንደር በX5 Retail Group ውስጥ የኮምፒዩተር ራዕይ ሲስተሞች አርክቴክት ሆኖ ይሰራል እና ከኮምፒዩተር እይታ እና ጥልቅ ትምህርት (github.com/creafz) ጋር ለተያያዙ የክፍት ምንጭ ፕሮጄክቶች አስተዋፅኦ ያደርጋል። የማሽን መማሪያ ውድድር በጣም ታዋቂ በሆነው Kaggle Master (kaggle.com/creafz) የዓለም ደረጃ 100 ውስጥ በመሳተፍ ችሎታው ተረጋግጧል።

ለምን ወደ ማሽን ትምህርት ይቀየራል።

ከአንድ ዓመት ተኩል በፊት የጎግል ጥልቅ ትምህርት ላይ የተመሰረተ አርቴፊሻል ኢንተለጀንስ ጥናት ፕሮጀክት የጎግል ብሬን ኃላፊ ጄፍ ዲን በጎግል ተርጓሚ ውስጥ ግማሽ ሚሊዮን የኮድ መስመሮች እንዴት በ Tensor Flow ነርቭ ኔትወርክ 500 መስመሮችን ብቻ እንደተካ ገልፀውልናል። ኔትወርኩን ካሰለጠነ በኋላ የመረጃው ጥራት እየጨመረ እና መሠረተ ልማቱ ቀላል ሆኗል. ይህ የወደፊት ብሩህ ተስፋችን ይመስላል፡ ከአሁን በኋላ ኮድ መፃፍ የለብንም፤ የነርቭ ሴሎችን መስራት እና በመረጃ መሙላት በቂ ነው። ነገር ግን በተግባር ሁሉም ነገር በጣም የተወሳሰበ ነው.

ML መሠረተ ልማት በ Google

የነርቭ ኔትወርኮች ከመሠረተ ልማት ውስጥ ትንሽ ክፍል ብቻ ናቸው (ከላይ በምስሉ ላይ ያለው ትንሽ ጥቁር ካሬ). ብዙ ተጨማሪ ረዳት ሲስተሞች መረጃን ለመቀበል፣ ለማስኬድ፣ ለማከማቸት፣ ጥራቱን ለመፈተሽ፣ ወዘተ. ለስልጠና መሠረተ ልማት ያስፈልገናል፣ የማሽን መማሪያ ኮድን በምርት ላይ ለማሰማራት እና ይህን ኮድ ለመፈተሽ። እነዚህ ሁሉ ተግባራት የኋላ ገንቢዎች ከሚያደርጉት ጋር ተመሳሳይ ናቸው።

የማሽን የመማር ሂደት

በ ML እና backend መካከል ያለው ልዩነት ምንድን ነው?

በክላሲካል ፕሮግራሚንግ ውስጥ, ኮድ እንጽፋለን እና ይህ የፕሮግራሙን ባህሪ ይደነግጋል. በኤምኤል ውስጥ ትንሽ ሞዴል ኮድ እና በአምሳያው ላይ የምንጥላቸው ብዙ መረጃዎች አሉን. በኤምኤል ውስጥ ያለው መረጃ በጣም አስፈላጊ ነው፡ በተለያዩ መረጃዎች ላይ የሰለጠነው ተመሳሳይ ሞዴል ሙሉ ለሙሉ የተለያዩ ውጤቶችን ሊያሳይ ይችላል። ችግሩ ሁልጊዜ ማለት ይቻላል መረጃው የተበታተነ እና በተለያዩ ስርዓቶች (ተዛማጅ የውሂብ ጎታዎች፣ NoSQL ዳታቤዝ፣ ሎግዎች፣ ፋይሎች) ውስጥ መከማቸቱ ነው።

የውሂብ እትም

ML እንደ ክላሲካል ልማት ኮድን ብቻ ​​ሳይሆን መረጃውን ማተምን ይጠይቃል፡ ሞዴሉ በምን ላይ እንደሰለጠነ በግልፅ መረዳት ያስፈልጋል። ይህንን ለማድረግ ታዋቂውን የውሂብ ሳይንስ ስሪት መቆጣጠሪያ ቤተ-መጽሐፍትን (dvc.org) መጠቀም ይችላሉ።

የውሂብ ምልክት ማድረጊያ

ቀጣዩ ተግባር የውሂብ መለያ ነው. ለምሳሌ በሥዕሉ ላይ ያሉትን ሁሉንም ነገሮች ምልክት ያድርጉ ወይም የየትኛው ክፍል እንደሆነ ይናገሩ። ይህ የሚከናወነው እንደ Yandex.Toloka ባሉ ልዩ አገልግሎቶች ነው, ስራው በኤፒአይ መኖር በጣም ቀላል ነው. “በሰው ልጅ” ምክንያት ችግሮች ይነሳሉ፡- ተመሳሳይ ተግባርን ለብዙ ፈጻሚዎች በመስጠት የውሂብን ጥራት ማሻሻል እና ስህተቶችን በትንሹ መቀነስ ይችላሉ።

በ Tensor Board ውስጥ ምስላዊነት

ውጤቶችን ለማነፃፀር እና በአንዳንድ ልኬቶች ላይ በመመርኮዝ ምርጡን ሞዴል ለመምረጥ የሙከራዎች ምዝገባ አስፈላጊ ነው። ለዕይታ የሚሆን ትልቅ የመሳሪያዎች ስብስብ አለ - ለምሳሌ, Tensor Board. ነገር ግን ሙከራዎችን ለማከማቸት ምንም ተስማሚ መንገዶች የሉም. ትናንሽ ኩባንያዎች ብዙውን ጊዜ በኤክሴል የተመን ሉህ ይሠራሉ፣ ትልልቅ ሰዎች ደግሞ በውሂብ ጎታ ውስጥ ውጤቶችን ለማከማቸት ልዩ መድረኮችን ይጠቀማሉ።

ለማሽን ለመማር ብዙ መድረኮች አሉ ነገርግን አንዳቸውም 70% ፍላጎቶችን አይሸፍኑም።

የሰለጠነ ሞዴልን ወደ ምርት ሲያስገቡ የሚያጋጥመው የመጀመሪያው ችግር ከመረጃ ሳይንቲስቶች ተወዳጅ መሳሪያ - ጁፒተር ማስታወሻ ደብተር ጋር የተያያዘ ነው። በውስጡ ምንም ሞዱላሪቲ የለም ፣ ማለትም ፣ ውጤቱ እንደዚህ ያለ “የእግር ልብስ” ኮድ ነው ወደ ሎጂካዊ ቁርጥራጮች ያልተከፋፈለ - ሞጁሎች። ሁሉም ነገር ተቀላቅሏል: ክፍሎች, ተግባራት, ውቅሮች, ወዘተ. ይህ ኮድ ስሪት እና ለመሞከር አስቸጋሪ ነው.

ይህንን እንዴት መቋቋም እንደሚቻል? እራስዎን እንደ ኔትፍሊክስ በመልቀቅ እነዚህን ላፕቶፖች በምርት ላይ በቀጥታ ለማስጀመር፣ መረጃዎችን እንደ ግብአት ወደ እነርሱ ለማስተላለፍ እና ውጤቶችን ለማግኘት የሚያስችል የእራስዎን መድረክ መፍጠር ይችላሉ። ሞዴሉን ወደ ምርት የሚያሽከረክሩትን ገንቢዎች ኮዱን በመደበኛነት እንደገና እንዲጽፉ ማስገደድ ይችላሉ ፣ ወደ ሞጁሎች ይሰብሩት። ነገር ግን በዚህ አቀራረብ ስህተት መስራት ቀላል ነው, እና ሞዴሉ እንደታሰበው አይሰራም. ስለዚህ, ተስማሚው አማራጭ የጁፒተር ማስታወሻ ደብተር ለሞዴል ኮድ መጠቀምን መከልከል ነው. በእርግጥ የውሂብ ሳይንቲስቶች በዚህ ከተስማሙ.

ሞዴል እንደ ጥቁር ሳጥን

ሞዴልን ወደ ምርት ለማስገባት ቀላሉ መንገድ እንደ ጥቁር ሳጥን መጠቀም ነው. አንድ ዓይነት የሞዴል ክፍል አለዎት ፣ የአምሳያው ክብደት (የሰለጠነ አውታረመረብ የነርቭ ሴሎች መለኪያዎች) ተሰጥተው ነበር እና ይህንን ክፍል ከጀመሩ (የመተንበይ ዘዴን ይደውሉ ፣ ስዕል ይመግቡ) የተወሰነ ያገኛሉ። ትንበያ እንደ ውፅዓት። ከውስጥ የሚሆነው ነገር ምንም አይደለም።

የተለየ የአገልጋይ ሂደት ከአምሳያው ጋር

እንዲሁም የተለየ ሂደትን ከፍ ማድረግ እና በ RPC ወረፋ (በስዕሎች ወይም በሌላ ምንጭ ውሂብ) መላክ ይችላሉ። በውጤቱ ላይ ትንበያዎችን እንቀበላለን።

በፍላስክ ውስጥ ሞዴል የመጠቀም ምሳሌ፡-

@app.route("/predict", methods=["POST"])
def predict():
image = flask.request.files["image"].read()
image = preprocess_image(image)
predictions = model.predict(image)
return jsonify_prediction(predictions)

የዚህ አሰራር ችግር የአፈፃፀም ውስንነት ነው. በዳታ ሳይንቲስቶች የተጻፈ የ Phyton ኮድ ቀርፋፋ አለን እንበል፣ እና ከፍተኛ አፈጻጸምን ለመጭመቅ እንፈልጋለን። ይህንን ለማድረግ ኮዱን ወደ ቤተኛ የሚቀይሩ ወይም ለምርት ወደተዘጋጀ ሌላ ማዕቀፍ የሚቀይሩ መሳሪያዎችን መጠቀም ይችላሉ። ለእያንዳንዱ ማዕቀፍ እንደዚህ አይነት መሳሪያዎች አሉ, ነገር ግን ምንም ተስማሚዎች የሉም, እራስዎ መጨመር አለብዎት.

በኤምኤል ውስጥ ያለው መሠረተ ልማት ከመደበኛ ጀርባ ጋር ተመሳሳይ ነው። Docker እና Kubernetes አሉ፣ ለ Docker ብቻ ከNVDIA Runtime መጫን ያስፈልግዎታል፣ ይህም በማጠራቀሚያው ውስጥ ያሉ ሂደቶች በአስተናጋጁ ውስጥ የቪዲዮ ካርዶችን እንዲደርሱ ያስችላቸዋል። Kubernetes በቪዲዮ ካርዶች አገልጋዮችን ማስተዳደር እንዲችል ፕለጊን ያስፈልገዋል።

እንደ ክላሲካል ፕሮግራሚንግ ሳይሆን፣ ኤምኤልን በተመለከተ በመሠረተ ልማት አውታሮች ውስጥ ብዙ የተለያዩ ተንቀሳቃሽ አካላት አሉ መፈተሽ እና መሞከር ያለባቸው - ለምሳሌ የመረጃ ማቀነባበሪያ ኮድ ፣ የሞዴል ማሰልጠኛ ቧንቧ መስመር እና ምርት (ከላይ ያለውን ሥዕላዊ መግለጫ ይመልከቱ)። የተለያዩ የቧንቧ መስመሮችን የሚያገናኘውን ኮድ መፈተሽ አስፈላጊ ነው: ብዙ ቁርጥራጮች አሉ, እና ብዙ ጊዜ በሞጁል ወሰኖች ላይ ችግሮች ይነሳሉ.

AutoML እንዴት እንደሚሰራ

የAutoML አገልግሎቶች ለእርስዎ ዓላማዎች ጥሩውን ሞዴል ለመምረጥ እና ለማሰልጠን ቃል ገብተዋል። ግን መረዳት አለብዎት: መረጃ በኤምኤል ውስጥ በጣም አስፈላጊ ነው, ውጤቱም በዝግጅቱ ላይ የተመሰረተ ነው. ምልክት ማድረጊያ የሚከናወነው በሰዎች ነው, እሱም በስህተት የተሞላ ነው. ጥብቅ ቁጥጥር ከሌለ ውጤቱ ቆሻሻ ሊሆን ይችላል, እና ሂደቱን በራስ-ሰር ለማድረግ ገና አይቻልም, በልዩ ባለሙያዎች ማረጋገጥ - የውሂብ ሳይንቲስቶች - ያስፈልጋል. AutoML የሚፈርስበት ቦታ ይህ ነው። ግን አርክቴክቸርን ለመምረጥ ጠቃሚ ሊሆን ይችላል - ውሂቡን አስቀድመው ካዘጋጁ እና ምርጡን ሞዴል ለማግኘት ተከታታይ ሙከራዎችን ማካሄድ ሲፈልጉ።

ወደ ማሽን ትምህርት እንዴት እንደሚገቡ

ወደ ኤምኤል ለመግባት ቀላሉ መንገድ በ Python ውስጥ ካዳበሩ ነው ፣ ይህም በሁሉም ጥልቅ የመማሪያ ማዕቀፎች (እና መደበኛ ማዕቀፎች) ውስጥ ጥቅም ላይ ይውላል። ለዚህ የእንቅስቃሴ መስክ ይህ ቋንቋ በተግባር የግዴታ ነው። C ++ ለአንዳንድ የኮምፒዩተር እይታ ስራዎች ጥቅም ላይ ይውላል, ለምሳሌ, ራስን ለመንዳት መኪናዎች መቆጣጠሪያ ስርዓቶች. ጃቫ ስክሪፕት እና ሼል - ለእይታ እና እንደዚህ ያሉ እንግዳ ነገሮች በአሳሹ ውስጥ የነርቭ ሴል ማሄድ። ጃቫ እና ስካላ ከBig Data ጋር ሲሰሩ እና ለማሽን ለመማር ያገለግላሉ። አር እና ጁሊያ የሂሳብ ስታቲስቲክስን በሚያጠኑ ሰዎች ይወዳሉ።

ለመጀመር ተግባራዊ ልምድ ለማግኘት በጣም ምቹው መንገድ በ Kaggle ላይ ነው ። በመድረኩ በአንዱ ውድድር ውስጥ መሳተፍ ከአንድ አመት በላይ የጥናት ፅንሰ-ሀሳብ ይሰጣል። በዚህ ፕላትፎርም የሌላ ሰው የተለጠፈ እና አስተያየት የተሰጠበትን ኮድ ወስደህ ለማሻሻል መሞከር ትችላለህ፣ ለእርሶ ዓላማ ማመቻቸት። ጉርሻ - የ Kaggle ደረጃዎ በደመወዝዎ ላይ ተጽዕኖ ያሳድራል።

ሌላው አማራጭ የኤምኤል ቡድንን እንደ ደጋፊ ገንቢ መቀላቀል ነው። ባልደረቦችዎ ችግሮቻቸውን እንዲፈቱ በመርዳት ልምድ የሚያገኙባቸው ብዙ የማሽን መማሪያ ጅምሮች አሉ። በመጨረሻም፣ ከዳታ ሳይንቲስቶች ማህበረሰቦች አንዱን መቀላቀል ትችላለህ - የውሂብ ሳይንስን (ods.ai) እና ሌሎችን ክፈት።

ተናጋሪው በርዕሱ ላይ ተጨማሪ መረጃ በአገናኙ ላይ አውጥቷል። https://bit.ly/backend-to-ml

"ኳድሩፔል" - የ "ስቴት አገልግሎቶች" ፖርታል የታለሙ ማሳወቂያዎች አገልግሎት

Evgeny Smirnov

የሚቀጥለው ተናጋሪ የኢ-መንግስት መሠረተ ልማት ልማት መምሪያ ኃላፊ ኢቭጄኒ ስሚርኖቭ ስለ ኳድሩፕል ተናግሯል ። ይህ ለ Gosuslugi ፖርታል (gosuslugi.ru) በ Runet ላይ በብዛት የሚጎበኘው የመንግስት ሃብት የታለመ የማሳወቂያ አገልግሎት ነው። የእለቱ ታዳሚዎች 2,6 ሚሊዮን ሲሆኑ በአጠቃላይ 90 ሚሊዮን ተጠቃሚዎች በገጹ ላይ የተመዘገቡ ሲሆን ከእነዚህ ውስጥ 60 ሚሊዮን የሚሆኑት ተረጋግጠዋል። በፖርታል ኤፒአይ ላይ ያለው ጭነት 30 ሺህ RPS ነው.

በስቴት አገልግሎቶች ጀርባ ውስጥ ጥቅም ላይ የዋሉ ቴክኖሎጂዎች

"ኳድሩፔል" የታለመ የማሳወቂያ አገልግሎት ነው, በእሱ እርዳታ ልዩ የማሳወቂያ ደንቦችን በማዘጋጀት ተጠቃሚው ለእሱ በጣም ተስማሚ በሆነ ጊዜ ለአገልግሎት አቅርቦትን ይቀበላል. አገልግሎቱን በሚገነቡበት ጊዜ ዋናዎቹ መስፈርቶች ተለዋዋጭ መቼቶች እና ለደብዳቤ መላኪያዎች በቂ ጊዜ ነበሩ።

Quadrupel እንዴት ነው የሚሰራው?

ከላይ ያለው ሥዕላዊ መግለጫ የመንጃ ፍቃድን የመተካት አስፈላጊነት ያለውን ሁኔታ ምሳሌ በመጠቀም የኳድሩፔል የአሠራር ደንቦችን አንዱን ያሳያል. በመጀመሪያ፣ አገልግሎቱ የሚያበቃበት ቀን በአንድ ወር ውስጥ የሚያልቅባቸውን ተጠቃሚዎች ይፈልጋል። ተገቢውን አገልግሎት ለመቀበል የቀረበ ባነር ታይቷል እና መልእክት በኢሜል ይላካል. ቀነ ገደቡ ላለቀላቸው ተጠቃሚዎች ባነር እና ኢሜል ይቀየራሉ። ከተሳካ የመብቶች ልውውጥ በኋላ ተጠቃሚው ሌሎች ማሳወቂያዎችን ይቀበላል - በማንነቱ ውስጥ ያለውን መረጃ ለማዘመን ከቀረበ ሀሳብ ጋር።

ከቴክኒካዊ እይታ አንጻር እነዚህ ኮዱ የተጻፈባቸው ግሩቭ ስክሪፕቶች ናቸው። ግብአቱ ውሂብ ነው፣ ውጤቱ እውነት/ውሸት ነው፣ የተዛመደ/አልተዛመደም። በጠቅላላው ከ 50 በላይ ህጎች አሉ - የተጠቃሚውን የልደት ቀን ከመወሰን (የአሁኑ ቀን ከተጠቃሚው የልደት ቀን ጋር እኩል ነው) እስከ ውስብስብ ሁኔታዎች። በየቀኑ እነዚህ ደንቦች ወደ አንድ ሚሊዮን የሚጠጉ ግጥሚያዎችን ይለያሉ - ማሳወቂያ የሚያስፈልጋቸው ሰዎች።

ባለአራት ማስታወቂያ ሰርጦች

በ Quadrupel መከለያ ስር የተጠቃሚ ውሂብ የሚከማችበት የውሂብ ጎታ እና ሶስት መተግበሪያዎች አሉ- 

• ሠራተኛ ውሂብን ለማዘመን የታሰበ።
• እረፍት ኤ.ፒ.አይ. ባነሮቹን እራሳቸው አንስቶ ወደ ፖርታል እና ሞባይል መተግበሪያ ያቀርባል።
• መርሐግብር ባነሮችን ወይም የጅምላ መልዕክቶችን እንደገና ለማስላት ሥራ ይጀምራል።

ውሂብን ለማዘመን የጀርባው አካል በክስተት ላይ የተመሰረተ ነው። ሁለት መገናኛዎች - እረፍት ወይም ጄኤምኤስ. ብዙ ዝግጅቶች አሉ፤ ከማስቀመጥ እና ከማቀናበር በፊት አላስፈላጊ ጥያቄዎችን ላለማድረግ የተሰበሰቡ ናቸው። የመረጃ ቋቱ ራሱ፣ ውሂቡ የተከማቸበት ሠንጠረዥ እንደ ቁልፍ እሴት ማከማቻ ይመስላል - የተጠቃሚው ቁልፍ እና እሴቱ፡ አግባብነት ያላቸው ሰነዶች መኖራቸውን ወይም አለመኖራቸውን የሚያመለክቱ ባንዲራዎች፣ የአገልግሎት ጊዜያቸው፣ የአገልግሎቶች ቅደም ተከተል ላይ የተጣመረ ስታቲስቲክስ በ ይህ ተጠቃሚ, ወዘተ.

ውሂቡን ካስቀመጠ በኋላ ባነሮች ወዲያውኑ እንደገና እንዲሰሉ በJMS ውስጥ አንድ ተግባር ተዘጋጅቷል - ይህ ወዲያውኑ በድሩ ላይ መታየት አለበት። ስርዓቱ የሚጀምረው በምሽት ነው: በተጠቃሚዎች ክፍተቶች ውስጥ ተግባራት ወደ JMS ይጣላሉ, በዚህ መሰረት ህጎቹን እንደገና ማስላት ያስፈልጋል. ይህ በእንደገና ስሌት ውስጥ በተካተቱት ማቀነባበሪያዎች ይወሰዳል. በመቀጠል የማቀነባበሪያ ውጤቶቹ ወደ ቀጣዩ ወረፋ ይሄዳሉ, ይህም ባነሮችን በመረጃ ቋት ውስጥ ያስቀምጣል ወይም የተጠቃሚ ማሳወቂያ ስራዎችን ወደ አገልግሎቱ ይልካል. ሂደቱ ከ5-7 ሰአታት ይወስዳል, ሁልጊዜም ተቆጣጣሪዎችን ማከል ወይም ምሳሌዎችን ከአዳዲስ ተቆጣጣሪዎች ጋር በማንሳት በቀላሉ ሊሰፋ የሚችል ነው.

አገልግሎቱ በደንብ ይሰራል። ነገር ግን ብዙ ተጠቃሚዎች በመኖራቸው የውሂብ መጠን እያደገ ነው። ይህ በመረጃ ቋቱ ላይ ያለውን ጭነት መጨመር ያስከትላል - ሌላው ቀርቶ የቀረው ኤፒአይ ቅጂውን የመመልከቱን እውነታ ከግምት ውስጥ በማስገባት። ሁለተኛው ነጥብ JMS ነው, እሱም እንደ ተለወጠ, በከፍተኛ ማህደረ ትውስታ ፍጆታ ምክንያት በጣም ተስማሚ አይደለም. JMS እንዲወድም እና ሂደቱ እንዲቆም የሚያደርግ የወረፋ ፍሰት ከፍተኛ ስጋት አለ። ምዝግብ ማስታወሻዎችን ሳያጸዳ ከዚህ በኋላ JMS ን ማሳደግ አይቻልም.

በመረጃ ቋቱ ላይ ያለውን ሸክም ማመጣጠን የሚያስችለውን ሻርዲንግ በመጠቀም ችግሮቹን ለመፍታት ታቅዷል። በተጨማሪም የውሂብ ማከማቻ ዘዴን ለመቀየር እና JMS ን ወደ ካፍካ ለመቀየር እቅድ ተይዟል - የበለጠ ስህተትን የሚቋቋም የማህደረ ትውስታ ችግሮችን የሚፈታ።

የኋላ-እንደ-አገልግሎት Vs. አገልጋይ አልባ

ከግራ ወደ ቀኝ: አሌክሳንደር ቦርጋርት, አንድሬ ቶሚለንኮ, ኒኮላይ ማርኮቭ, አራ እስራኤልያን

እንደ አገልግሎት ወይም አገልጋይ አልባ መፍትሄ ይደገፋል? በክብ ጠረጴዛው ላይ በዚህ አንገብጋቢ ጉዳይ ውይይት ላይ ተሳታፊዎች ነበሩ።

• አራ እስራኤልያን፣ CTO CTO እና የስኮሮኮድ መስራች
• ኒኮላይ ማርኮቭ፣ በተጣጣመ የምርምር ቡድን ከፍተኛ የመረጃ መሐንዲስ።
• አንድሬ ቶሚለንኮ, የ RUVDS ልማት መምሪያ ኃላፊ. 

ውይይቱ የተካሄደው በከፍተኛ ገንቢ አሌክሳንደር ቦርጋርት ነው። አድማጮቹ የተሳተፉባቸውን ክርክሮችም በአህጽሮተ ቃል አቅርበነዋል።

- በእርስዎ ግንዛቤ ውስጥ አገልጋይ የሌለው ምንድነው?

አንድሬይውጤቱ በመረጃው ላይ ብቻ እንዲመሰረት ይህ የኮምፒዩተር ሞዴል ነው - Lambda ተግባር ውሂብን ማካሄድ አለበት ። ቃሉ የመጣው ከGoogle ወይም ከአማዞን እና ከAWS Lambda አገልግሎት ነው። ለአቅራቢው አቅም ገንዳ በመመደብ እንዲህ ያለውን ተግባር ለመቋቋም ቀላል ነው። የተለያዩ ተጠቃሚዎች በተመሳሳዩ አገልጋዮች ላይ በተናጥል ሊቆጠሩ ይችላሉ።
Nikolai: በቀላሉ ለማስቀመጥ የአይቲ መሠረተ ልማታችንን እና የቢዝነስ አመክንዮአችንን የተወሰነ ክፍል ወደ ደመና ወደ ውጭ መላክ እያስተላለፍን ነው።
ማካው: በገንቢዎች በኩል - ሀብቶችን ለመቆጠብ ጥሩ ሙከራ, በገበያተኞች በኩል - ተጨማሪ ገንዘብ ለማግኘት.

- አገልጋይ አልባ ከማይክሮ አገልግሎት ጋር አንድ ነው?

Nikolaiየለም፣ አገልጋይ አልባ ከሥነ ሕንፃ ግንባታ ድርጅት የበለጠ ነው። ማይክሮ አገልግሎት የአንዳንድ ሎጂክ አቶሚክ ክፍል ነው። አገልጋይ አልባ አካሄድ እንጂ “የተለየ አካል” አይደለም።
ማካውአገልጋይ አልባ ተግባር በማይክሮ ሰርቪስ ውስጥ ሊጠቃለል ይችላል፣ነገር ግን ይህ አገልጋይ አልባ አይሆንም፣የላምዳ ተግባር መሆኑ ያቆማል። አገልጋይ አልባ ውስጥ አንድ ተግባር በተጠየቀ ጊዜ ብቻ መስራት ይጀምራል።
አንድሬይ: በህይወት ዘመናቸው ይለያያሉ. የላምዳ ተግባር ጀመርን እና ረሳነው። ለሁለት ሰከንዶች ያህል ሰርቷል፣ እና የሚቀጥለው ደንበኛ ጥያቄውን በሌላ አካላዊ ማሽን ላይ ማካሄድ ይችላል።

- የትኞቹ ሚዛኖች የተሻሉ ናቸው?

ማካውበአግድም በሚለካበት ጊዜ የላምዳ ተግባራት ልክ እንደ ማይክሮ ሰርቪስ ተመሳሳይ ባህሪ አላቸው.
Nikolai፦ የቱንም ያህል የተባዙ ብዛት ቢያዘጋጃቸው፣ ብዙዎቹ ይኖራሉ፣ አገልጋይ አልባ በመጠን ላይ ምንም ችግር የለበትም። በኩበርኔትስ አንድ ቅጂ አዘጋጅቻለሁ፣ 20 አጋጣሚዎችን “አንድ ቦታ” ጀምሬያለሁ፣ እና 20 የማይታወቁ አገናኞች ወደ እርስዎ ተመለሱ። ወደፊት!

- በአገልጋይ አልባ ላይ የጀርባ ጽሑፍ መጻፍ ይቻላል?

አንድሬይ: በንድፈ ሀሳብ, ግን ምንም ትርጉም የለውም. Lambda ተግባራት በአንድ ማከማቻ ላይ ይመሰረታሉ - ዋስትና ማረጋገጥ አለብን። ለምሳሌ, አንድ ተጠቃሚ የተወሰነ ግብይት ካደረገ, በሚቀጥለው ጊዜ ሲያነጋግረው ማየት አለበት: ግብይቱ ተካሂዷል, ገንዘቡ ተቆጥሯል. ሁሉም የላምዳ ተግባራት በዚህ ጥሪ ላይ ይዘጋሉ። በእርግጥ፣ የአገልጋይ አልባ ተግባራት ስብስብ ወደ የውሂብ ጎታ አንድ ማነቆ መዳረሻ ነጥብ ያለው ወደ አንድ አገልግሎት ይቀየራል።

- አገልጋይ-አልባ ሥነ ሕንፃን መጠቀም በምን ሁኔታዎች ውስጥ ምክንያታዊ ነው?

አንድሬይየጋራ ማከማቻ የማይጠይቁ ተግባራት - ተመሳሳይ ማዕድን ማውጣት, blockchain. ብዙ መቁጠር የሚያስፈልግበት ቦታ። ብዙ የኮምፒዩተር ሃይል ካለህ እንደ “እዚያ ያለውን ነገር ሃሽ አስላ…” የሚለውን ተግባር መግለፅ ትችላለህ።ነገር ግን ችግሩን በመረጃ ማከማቻ መፍታት ትችላለህ ለምሳሌ ላምዳ ተግባራት ከአማዞን እና የተከፋፈለ ማከማቻቸው። . እና መደበኛ አገልግሎት እየጻፉ ነው. Lambda ተግባራት ማከማቻውን ይደርሳሉ እና ለተጠቃሚው የሆነ አይነት ምላሽ ይሰጣሉ።
Nikolaiበሰርቨር-አልባ ውስጥ የሚሰሩ ኮንቴይነሮች በሀብታቸው እጅግ የተገደቡ ናቸው። ትንሽ ማህደረ ትውስታ እና ሁሉም ነገር አለ. ነገር ግን መላው መሠረተ ልማትዎ ሙሉ በሙሉ በአንዳንድ ደመና ላይ - ጎግል ፣ አማዞን - ከተሰማራ እና ከእነሱ ጋር ቋሚ ውል ካለዎት ለዚህ ሁሉ በጀት አለ ፣ ከዚያ ለአንዳንድ ተግባራት አገልጋይ አልባ ኮንቴይነሮችን መጠቀም ይችላሉ። በዚህ መሠረተ ልማት ውስጥ መገኘት አስፈላጊ ነው, ምክንያቱም ሁሉም ነገር በተወሰነ አካባቢ ውስጥ ጥቅም ላይ እንዲውል የተበጀ ነው. ማለትም ሁሉንም ነገር ከደመናው መሠረተ ልማት ጋር ለማያያዝ ዝግጁ ከሆኑ ሙከራ ማድረግ ይችላሉ። ጥቅሙ ይህንን መሠረተ ልማት ማስተዳደር የለብዎትም.
ማካው: ሰርቨር አልባ ኩበርኔትስ፣ ዶከር፣ ካፍካ ጫን እና የመሳሰሉትን እንድታስተዳድሩ የማይፈልግ መሆኑ እራስን ማታለል ነው። ያው አማዞን እና ጎግል ይህንን እየጫኑ ነው። ሌላው ነገር SLA መሆኑን ነው. እርስዎ እራስዎ ኮድ ከመፍጠር ይልቅ ሁሉንም ነገር ወደ ውጭ ሊጠቀሙበት ይችላሉ።
አንድሬይአገልጋይ አልባው ራሱ ርካሽ ነው፣ ግን ለሌሎች የአማዞን አገልግሎቶች ብዙ መክፈል አለቦት - ለምሳሌ የመረጃ ቋቱ። ሰዎች ለኤፒአይ በር ብዙ መጠን ያለው ገንዘብ ስላስከሱባቸው አስቀድመው ከሰሷቸዋል።
ማካውስለ ገንዘብ ከተነጋገርን, ይህንን ነጥብ ግምት ውስጥ ማስገባት አለብዎት: ሁሉንም ኮድ ወደ አገልጋይ አልባ ለማስተላለፍ በኩባንያው ውስጥ ሙሉውን የእድገት ዘዴ በ 180 ዲግሪ ማዞር አለብዎት. ይህ ብዙ ጊዜ እና ገንዘብ ይወስዳል.

- ከአማዞን እና ከጉግል አገልጋይ አልባ ለሚከፈልባቸው ብቁ አማራጮች አሉ?

Nikolai: በኩበርኔትስ ውስጥ አንድ ዓይነት ሥራ ትጀምራለህ ፣ እየሮጠ ይሞታል - ይህ ከሥነ-ሕንፃ እይታ አንፃር አገልጋይ የሌለው ነው። ከወረፋዎች እና የውሂብ ጎታዎች ጋር በእውነት አስደሳች የንግድ ሥራ አመክንዮ ለመፍጠር ከፈለጉ ፣ ስለሱ ትንሽ ተጨማሪ ማሰብ ያስፈልግዎታል። ይህ ሁሉ Kubernetes ሳይለቁ ሊፈታ ይችላል. ተጨማሪ አተገባበርን ለመጎተት አልጨነቅም።

- በሰርቨር-አልባ ውስጥ ምን እየተከሰተ እንዳለ መከታተል ምን ያህል አስፈላጊ ነው?

ማካው: በስርዓት አርክቴክቸር እና በቢዝነስ መስፈርቶች ላይ የተመሰረተ ነው. በመሠረቱ፣ አቅራቢው የዴፕስ ቡድን ሊፈጠሩ የሚችሉ ችግሮችን እንዲረዳ የሚያግዝ ሪፖርት ማቅረብ አለበት።
Nikolai፦ Amazon CloudWatch አለው፣ ሁሉም ምዝግብ ማስታወሻዎች የሚለቀቁበት፣ ከላምዳ የመጡትን ጨምሮ። የምዝግብ ማስታወሻ ማስተላለፍን ያዋህዱ እና ለእይታ፣ ለማስጠንቀቅ እና ለመሳሰሉት የተለየ መሳሪያ ይጠቀሙ። በሚጀምሩት መያዣዎች ውስጥ ወኪሎችን መሙላት ይችላሉ.

- እናጠቃልለው።

አንድሬይስለ ላምዳ ተግባራት ማሰብ ጠቃሚ ነው። በራስዎ አገልግሎት ከፈጠሩ - ማይክሮ አገልግሎት አይደለም, ነገር ግን ጥያቄን የሚጽፍ, የውሂብ ጎታውን ይደርሳል እና ምላሽ ይልካል - የ Lambda ተግባር ብዙ ችግሮችን ይፈታል: በባለብዙ ክር, scalability, ወዘተ. የእርስዎ አመክንዮ በዚህ መንገድ ከተገነባ፣ ወደ ፊት እነዚህን ላምዳስ ወደ ማይክሮ ሰርቪስ ማስተላለፍ ወይም እንደ አማዞን ያሉ የሶስተኛ ወገን አገልግሎቶችን መጠቀም ይችላሉ። ቴክኖሎጂው ጠቃሚ ነው, ሀሳቡ አስደሳች ነው. ለንግድ ሥራ ምን ያህል ትክክል እንደሆነ አሁንም ግልጽ ጥያቄ ነው።
ኒኮላይ፡ ሰርቨር አልባ አንዳንድ የንግድ አመክንዮዎችን ከማስላት ይልቅ ለስራ ማስኬጃ ስራዎች ጥቅም ላይ ይውላል። ሁሌም እንደ ክስተት ሂደት ነው የማስበው። በአማዞን ውስጥ ካለህ፣ በ Kubernetes ውስጥ ካለህ፣ አዎ። ያለበለዚያ ሰርቨር-አልባ በራስዎ ለማንቀሳቀስ እና ለማሄድ ብዙ ጥረት ማድረግ አለብዎት። አንድ የተወሰነ የንግድ ጉዳይ መመልከት ያስፈልጋል. ለምሳሌ አሁን ከስራዎቼ አንዱ: ፋይሎች በተወሰነ ቅርጸት በዲስክ ላይ ሲታዩ ወደ ካፍካ መስቀል አለብኝ. WatchDog ወይም Lambda መጠቀም እችላለሁ። ከአመክንዮአዊ እይታ አንጻር ሁለቱም አማራጮች ተስማሚ ናቸው, ነገር ግን በአተገባበር ረገድ, Serverless የበለጠ የተወሳሰበ ነው, እና ቀላል መንገድን እመርጣለሁ, ያለ ላምዳ.
ማካውአገልጋይ አልባ አስደሳች፣ ተፈጻሚነት ያለው እና በጣም ቴክኒካል የሚያምር ሀሳብ ነው። ይዋል ይደር እንጂ ማንኛውም ተግባር ከ100 ሚሊሰከንድ ባነሰ ጊዜ ውስጥ የሚጀመርበት ደረጃ ላይ ይደርሳል። ከዚያም በመርህ ደረጃ, የጥበቃ ጊዜ ለተጠቃሚው ወሳኝ ስለመሆኑ ምንም ጥያቄ አይኖርም. በተመሳሳይ ጊዜ, የአገልጋይ አልባነት ተፈጻሚነት, ባልደረቦች ቀደም ሲል እንደተናገሩት, ሙሉ በሙሉ በንግድ ችግር ላይ የተመሰረተ ነው.

ብዙ የረዱንን ስፖንሰሮቻችንን እናመሰግናለን፡-

• የአይቲ ኮንፈረንስ ቦታ"ጸደይ» ለጉባኤው ቦታ።
• የአይቲ ክስተቶች የቀን መቁጠሪያ Runet-መታወቂያ እና ህትመት"በይነመረብ በቁጥር» ለመረጃ ድጋፍ እና ዜና።
• «አክሮኒስ" ለስጦታዎች.
• አዊቶ ለጋራ ፈጠራ.
• "የኤሌክትሮኒክስ ግንኙነቶች ማህበር" RAEC ለተሳትፎ እና ልምድ.
• ዋና ስፖንሰር RUVDS - ለሁሉም!

ምንጭ: hab.com