සෑම දිනකම විවිධ ප්‍රමාණයේ ව්‍යාපාරවල ස්වයංක්‍රීය කළ හැකි වෙනත් ක්‍රියාවලි මොනවාද යන්න පිළිබඳ අදහස් සහ රැස්වීම් පැන නගී. නමුත් ආකෘතියක් නිර්මාණය කිරීම සඳහා බොහෝ කාලයක් වැය කළ හැකි බවට අමතරව, ඔබ එය ඇගයීමට ලක් කිරීම සහ ලබාගත් ප්රතිඵලය අහඹු නොවන බව පරීක්ෂා කිරීම සඳහා වියදම් කළ යුතුය. ක්රියාත්මක කිරීමෙන් පසුව, ඕනෑම ආකෘතියක් නිරීක්ෂණය කළ යුතු අතර වරින් වර පරීක්ෂා කළ යුතුය.
තවද මේ සියල්ල එහි විශාලත්වය නොසලකා ඕනෑම සමාගමක සම්පූර්ණ කළ යුතු අදියර වේ. අපි Sberbank හි පරිමාණය සහ උරුමය ගැන කතා කරන්නේ නම්, සියුම් සුසර කිරීමේ සංඛ්යාව සැලකිය යුතු ලෙස වැඩි වේ. 2019 අවසානය වන විට, Sber දැනටමත් මාදිලි 2000 කට වඩා භාවිතා කර ඇත. හුදෙක් ආකෘතියක් සංවර්ධනය කිරීම පමණක් ප්රමාණවත් නොවේ; කාර්මික පද්ධති සමඟ ඒකාබද්ධ කිරීම, ආකෘති ගොඩනැගීම සඳහා දත්ත මාර්ට් සංවර්ධනය කිරීම සහ පොකුරේ එහි ක්රියාකාරිත්වය පාලනය කිරීම සහතික කිරීම අවශ්ය වේ.
අපගේ කණ්ඩායම Sber.DS වේදිකාව සංවර්ධනය කරමින් සිටී. එය ඔබට යන්ත්‍ර ඉගෙනීමේ ගැටළු විසඳීමට ඉඩ සලසයි, උපකල්පන පරීක්ෂා කිරීමේ ක්‍රියාවලිය වේගවත් කරයි, ප්‍රතිපත්තිමය වශයෙන් ආකෘති සංවර්ධනය කිරීමේ සහ වලංගු කිරීමේ ක්‍රියාවලිය සරල කරයි, සහ PROM හි ආකෘතියේ ප්‍රති result ලය ද පාලනය කරයි.
ඔබගේ අපේක්ෂාවන් රවටා නොගැනීම සඳහා, මෙම තනතුර හඳුන්වාදීමේ එකක් බව මට කල්තියා පැවසීමට අවශ්ය වන අතර, කප්පාදුව යටතේ, ආරම්භකයින් සඳහා, අපි ප්‍රතිපත්තිමය වශයෙන්, Sber.DS වේදිකාවේ ආවරණය යටතේ ඇති දේ ගැන කතා කරමු. අපි නිර්මාණයේ සිට ක්රියාත්මක කිරීම දක්වා ආකෘතියේ ජීවන චක්‍රය ගැන කතාව වෙනම කියන්නෙමු.
Sber.DS සංරචක කිහිපයකින් සමන්විත වේ, ප්රධාන ඒවා වන්නේ පුස්තකාලය, සංවර්ධන පද්ධතිය සහ ආකෘති ක්රියාත්මක කිරීමේ පද්ධතියයි.
පුස්තකාලය ආකෘතියේ ජීවන චක්‍රය පාලනය කරයි, එය සංවර්ධනය කිරීමේ අදහස දිස්වන මොහොතේ සිට එය PROM හි ක්රියාත්මක කිරීම, අධීක්ෂණය සහ ඉවත් කිරීම දක්වා. බොහෝ පුස්තකාල හැකියාවන් නියාමක නීති මගින් නියම කරනු ලැබේ, උදාහරණයක් ලෙස, පුහුණු සහ වලංගු කිරීමේ සාම්පල වාර්තා කිරීම සහ ගබඩා කිරීම. ඇත්ත වශයෙන්ම, මෙය අපගේ සියලුම මාදිලිවල ලේඛනයකි.
සංවර්ධන පද්ධතිය සැලසුම් කර ඇත්තේ ආකෘති සහ වලංගු කිරීමේ ක්‍රමවල දෘශ්‍ය සංවර්ධනය සඳහා ය. සංවර්ධිත මාදිලි මූලික වලංගුකරණයට භාජනය වන අතර ඒවායේ ව්‍යාපාරික කාර්යයන් ඉටු කිරීම සඳහා ක්රියාත්මක කිරීමේ පද්ධතියට සපයනු ලැබේ. එසේම, ධාවන කාල පද්ධතිය තුළ, එහි ක්රියාකාරිත්වය නිරීක්ෂණය කිරීම සඳහා වරින් වර වලංගු කිරීමේ ක්‍රම දියත් කිරීමේ අරමුණ සඳහා මොනිටරය මොනිටරයක් මත තැබිය හැකිය.
පද්ධතියේ නෝඩ් වර්ග කිහිපයක් තිබේ. සමහරක් විවිධ දත්ත ප්‍රභවයන් වෙත සම්බන්ධ වීමට සැලසුම් කර ඇත, අනෙක් ඒවා මූලාශ්‍ර දත්ත පරිවර්තනය කිරීමට සහ එය පොහොසත් කිරීමට (markup) නිර්මාණය කර ඇත. විවිධ මාදිලි තැනීම සඳහා බොහෝ නෝඩ් සහ ඒවා වලංගු කිරීම සඳහා නෝඩ් ඇත. සංවර්ධකයාට ඕනෑම මූලාශ්‍රයකින් දත්ත පූරණය කිරීමට, පරිවර්තනය කිරීමට, පෙරීමට, අතරමැදි දත්ත දෘශ්‍යමාන කිරීමට සහ කොටස් වලට කැඩීමට හැකිය.
වේදිකාවේ සැලසුම් ප්‍රදේශයට ඇදගෙන යා හැකි සූදානම් කළ මොඩියුල ද අඩංගු වේ. සියලුම ක්‍රියා දෘශ්‍යමය අතුරු මුහුණතක් භාවිතයෙන් සිදු කෙරේ. ඇත්ත වශයෙන්ම, ඔබට එක් කේතයක් නොමැතිව ගැටළුව විසඳා ගත හැකිය.
ගොඩනඟන ලද හැකියාවන් ප්රමාණවත් නොවේ නම්, පද්ධතිය ඉක්මනින් ඔබේම මොඩියුල නිර්මාණය කිරීමට හැකියාව ලබා දෙයි. මත පදනම්ව අපි ඒකාබද්ධ සංවර්ධන මාදිලියක් සෑදුවෙමු මුල සිටම නව මොඩියුල නිර්මාණය කරන අය සඳහා.
Sber.DS හි ගෘහ නිර්මාණ ශිල්පය ක්ෂුද්‍ර සේවා මත ගොඩනගා ඇත. ක්ෂුද්‍ර සේවා යනු කුමක්ද යන්න පිළිබඳව බොහෝ මත තිබේ. සමහර අය සිතන්නේ මොනොලිතික් කේතය කොටස් වලට බෙදීම ප්රමාණවත් බවයි, නමුත් ඒ සමඟම ඔවුන් තවමත් එකම දත්ත ගබඩාවට යයි. අපගේ ක්ෂුද්‍ර සේවාව වෙනත් ක්ෂුද්‍ර සේවාවක් සමඟ සන්නිවේදනය කළ යුත්තේ REST API හරහා පමණි. දත්ත සමුදායට සෘජුවම ප්රවේශ වීමට ප්‍රතිකර්ම නොමැත.
සේවාවන් ඉතා විශාල සහ අවුල් සහගත නොවන බව සහතික කිරීමට අපි උත්සාහ කරමු: එක් අවස්ථාවක් RAM 4-8 ගිගාබයිට් වලට වඩා පරිභෝජනය නොකළ යුතු අතර නව අවස්ථා දියත් කිරීමෙන් ඉල්ලීම් තිරස් ලෙස පරිමාණය කිරීමේ හැකියාව සැපයිය යුතුය. සෑම සේවාවක්ම අන් අය සමඟ සන්නිවේදනය කරන්නේ REST API හරහා පමණි () සේවාව සඳහා වගකිව යුතු කණ්ඩායම එය භාවිතා කරන අවසාන සේවාදායකයා තෙක් API පසුපසට අනුකූලව තබා ගැනීමට අවශ්ය වේ.
යෙදුමේ හරය Spring Framework භාවිතයෙන් Java හි ලියා ඇත. විසඳුම මුලින් නිර්මාණය කර ඇත්තේ වලාකුළු යටිතල ව්‍යුහයේ වේගවත් යෙදවීම සඳහා ය, එබැවින් යෙදුම ගොඩනගා ඇත්තේ බහාලුම් පද්ධතියක් භාවිතා කරමිනි. () ව්‍යාපාරික ක්රියාකාරිත්වය වැඩි කිරීම (නව සම්බන්ධක, AutoML එකතු කරනු ලැබේ) සහ තාක්ෂණික කාර්යක්ෂමතාව අනුව වේදිකාව නිරන්තරයෙන් වර්ධනය වේ.
අපගේ වේදිකාවේ එක් අංගයක් නම්, ඕනෑම Sberbank මාදිලියේ ක්රියාත්මක කිරීමේ පද්ධතියක දෘශ්‍ය අතුරුමුහුණතක් තුළ සංවර්ධනය කරන ලද කේතය ධාවනය කළ හැකි වීමයි. දැන් ඒවායින් දෙකක් දැනටමත් ඇත: එකක් Hadoop මත, අනෙක OpenShift (Docker). අපි එතැනින් නොනැවතී, පරිශ්‍රයේ සහ වලාකුළෙහි ඇතුළුව ඕනෑම යටිතල ව්‍යුහයක් මත කේතය ධාවනය කිරීමට ඒකාබද්ධ කිරීමේ මොඩියුල සාදන්නෙමු. Sberbank පරිසර පද්ධතියට ඵලදායි ලෙස ඒකාබද්ධ වීමේ හැකියාව සම්බන්ධයෙන්, දැනට පවතින ක්රියාත්මක කිරීමේ පරිසරයන් සමඟ වැඩ කිරීමට සහාය වීමට අපි සැලසුම් කරමු. අනාගතයේදී, විසඳුම ඕනෑම සංවිධානයක ඕනෑම භූ දර්ශනයකට "පෙට්ටියෙන් පිටත" නම්‍යශීලීව ඒකාබද්ධ කළ හැකිය.
PROM හි Hadoop මත Python ධාවනය කරන විසඳුමකට සහය දැක්වීමට උත්සාහ කර ඇති අය දන්නවා එක් එක් දත්ත නෝඩය වෙත Python පරිශීලක පරිසරයක් සකස් කර බෙදා හැරීම ප්රමාණවත් නොවන බව. Python මොඩියුල භාවිතා කරන යන්ත්‍ර ඉගෙනීම සඳහා C/C++ පුස්තකාල විශාල සංඛ්‍යාවක් ඔබට පහසුවෙන් විවේක ගැනීමට ඉඩ නොදේ. දැනටමත් ක්රියාත්මක කර ඇති ආදර්ශ කේතය සමඟ පසුගාමී ගැළපුම පවත්වා ගනිමින්, නව පුස්තකාල හෝ සේවාදායක එකතු කිරීමේදී පැකේජ යාවත්කාලීන කිරීමට අප මතක තබා ගත යුතුය.
මෙය සිදු කරන්නේ කෙසේද යන්න සඳහා ප්රවේශයන් කිහිපයක් තිබේ. උදාහරණයක් ලෙස, නිතර භාවිතා කරන පුස්තකාල කිහිපයක් කල්තියා සූදානම් කර ඒවා PROM හි ක්රියාත්මක කරන්න. Cloudera's Hadoop බෙදාහැරීමේදී, ඔවුන් සාමාන්‍යයෙන් භාවිතා කරයි . එසේම දැන් Hadoop හි එය ධාවනය කළ හැකිය - බහාලුම්. සමහර සරල අවස්ථා වලදී පැකේජය සමඟ කේතය ලබා දීමට හැකි වේ .
තෙවන පාර්ශ්ව කේතය ධාවනය කිරීමේ ආරක්ෂාව බැංකුව ඉතා බැරෑරුම් ලෙස සලකයි, එබැවින් අපි ලිනක්ස් කර්නලයේ නව විශේෂාංග වලින් උපරිම ප්‍රයෝජන ගනිමු, එහිදී ක්‍රියාවලියක් හුදකලා පරිසරයක ක්රියාත්මක වේ. , ඔබට සීමා කළ හැකිය, උදාහරණයක් ලෙස, ජාලයට සහ දේශීය තැටියට ප්රවේශ වීම, අනිෂ්ට කේතයේ හැකියාවන් සැලකිය යුතු ලෙස අඩු කරයි. එක් එක් දෙපාර්තමේන්තුවේ දත්ත ප්‍රදේශ ආරක්ෂා කර ඇති අතර මෙම දත්තවල හිමිකරුවන්ට පමණක් ප්රවේශ විය හැකිය. එක් ප්‍රදේශයක දත්ත තවත් ප්‍රදේශයකට ළඟා විය හැක්කේ මූලාශ්‍ර වෙත ප්රවේශ වීමේ සිට ඉලක්ක ගබඩා ඉදිරිපිට දත්ත ගොඩබෑම දක්වා සෑම අදියරකදීම පාලනය වන දත්ත ප්‍රකාශන ක්‍රියාවලියක් හරහා පමණක් බව වේදිකාව සහතික කරයි.
මෙම වසරේ අපි Hadoop මත Python/R/Java වලින් ලියා ඇති ආකෘති දියත් කිරීමේ MVP සම්පූර්ණ කිරීමට සැලසුම් කරමු. අපගේ වේදිකාවේ පරිශීලකයින් කිසිදු ආකාරයකින් සීමා නොකිරීමට, Hadoop හි ඕනෑම අභිරුචි පරිසරයක් ධාවනය කරන්නේ කෙසේදැයි ඉගෙන ගැනීමේ අභිලාෂකාමී කාර්යය අප විසින්ම සකසා ඇත.
මීට අමතරව, එය සිදු වූ පරිදි, බොහෝ DS විශේෂඥයින් ගණිතය සහ සංඛ්යා ලේඛනවල විශිෂ්ටයි, සිසිල් ආකෘති නිර්මාණය කරයි, නමුත් විශාල දත්ත පරිවර්තනයන් පිළිබඳ එතරම් දැනුමක් නොමැති අතර, පුහුණු සාම්පල සකස් කිරීම සඳහා අපගේ දත්ත ඉංජිනේරුවන්ගේ සහාය අවශ්ය වේ. Spark එන්ජිමේ මාදිලි සඳහා සම්මත පරිවර්තනය සහ විශේෂාංග සකස් කිරීම සඳහා අපගේ සගයන්ට උපකාර කිරීමට සහ පහසු මොඩියුල නිර්මාණය කිරීමට අපි තීරණය කළෙමු. මෙය ඔබට ආකෘති සංවර්ධනය කිරීමට වැඩි කාලයක් ගත කිරීමට ඉඩ ලබා දෙන අතර නව දත්ත කට්ටලයක් සකස් කිරීමට දත්ත ඉංජිනේරුවන් බලා නොසිටිනු ඇත.
අපි විවිධ ක්ෂේත්‍රවල දැනුම ඇති පුද්ගලයින් සේවයේ යොදවන්නෙමු: Linux සහ DevOps, Hadoop සහ Spark, Java and Spring, Scala සහ Akka, OpenShift සහ Kubernetes. ඊළඟ වතාවේ අපි ආදර්ශ පුස්තකාලය ගැන කතා කරමු, ආකෘතිය සමාගම තුළ ජීවන චක්‍රය හරහා යන්නේ කෙසේද, වලංගුකරණය සහ ක්රියාත්මක කිරීම සිදුවන්නේ කෙසේද යන්න ගැන.
මූලාශ්රය: www.habr.com