பிற செயல்முறைகளை தானியக்கமாக்குவது பற்றிய யோசனைகள் மற்றும் சந்திப்புகள் ஒவ்வொரு நாளும் பல்வேறு அளவிலான வணிகங்களில் எழுகின்றன. ஆனால் ஒரு மாதிரியை உருவாக்குவதற்கு நிறைய நேரம் செலவழிக்க முடியும் என்ற உண்மையைத் தவிர, நீங்கள் அதை மதிப்பீடு செய்வதற்கும், பெறப்பட்ட முடிவு சீரற்றதாக இல்லை என்பதைச் சரிபார்க்கவும் செலவிட வேண்டும். செயல்படுத்தப்பட்ட பிறகு, எந்த மாதிரியும் கண்காணிக்கப்பட வேண்டும் மற்றும் அவ்வப்போது சரிபார்க்கப்பட வேண்டும்.
எந்த நிறுவனத்திலும் அதன் அளவைப் பொருட்படுத்தாமல் முடிக்க வேண்டிய அனைத்து நிலைகளும் இவை. நாம் Sberbank இன் அளவு மற்றும் மரபு பற்றி பேசுகிறோம் என்றால், நன்றாக சரிப்படுத்தும் எண்ணிக்கை கணிசமாக அதிகரிக்கிறது. 2019 ஆம் ஆண்டின் இறுதியில், Sber ஏற்கனவே 2000 க்கும் மேற்பட்ட மாடல்களைப் பயன்படுத்தியது. ஒரு மாதிரியை உருவாக்குவது மட்டும் போதாது; தொழில்துறை அமைப்புகளுடன் ஒருங்கிணைத்து, மாதிரிகளை உருவாக்குவதற்கான தரவு மார்ட்களை உருவாக்குவது மற்றும் கிளஸ்டரில் அதன் செயல்பாட்டைக் கட்டுப்படுத்துவது அவசியம்.
எங்கள் குழு Sber.DS தளத்தை உருவாக்குகிறது. இது இயந்திர கற்றல் சிக்கல்களைத் தீர்க்க உங்களை அனுமதிக்கிறது, கருதுகோள்களை சோதிக்கும் செயல்முறையை விரைவுபடுத்துகிறது, கொள்கையளவில் மாதிரிகளை உருவாக்கும் மற்றும் சரிபார்க்கும் செயல்முறையை எளிதாக்குகிறது, மேலும் PROM இல் மாதிரியின் முடிவையும் கட்டுப்படுத்துகிறது.
உங்கள் எதிர்பார்ப்புகளை ஏமாற்றக்கூடாது என்பதற்காக, இந்த இடுகை ஒரு அறிமுகம் என்று நான் முன்கூட்டியே சொல்ல விரும்புகிறேன், மேலும் தொடக்கத்தில், Sber.DS தளத்தின் கீழ் என்ன இருக்கிறது என்பதைப் பற்றி நாங்கள் பேசுகிறோம். உருவாக்கம் முதல் செயல்படுத்துவது வரை மாதிரியின் வாழ்க்கைச் சுழற்சியைப் பற்றி தனித்தனியாக கதைப்போம்.
Sber.DS ஆனது பல கூறுகளைக் கொண்டுள்ளது, முக்கியமானவை நூலகம், மேம்பாட்டு அமைப்பு மற்றும் மாதிரி செயல்படுத்தல் அமைப்பு.
மாதிரியின் வாழ்க்கைச் சுழற்சியை நூலகம் கட்டுப்படுத்துகிறது, அதை உருவாக்குவதற்கான யோசனை தோன்றிய தருணத்திலிருந்து, அதை PROM இல் செயல்படுத்துவது, கண்காணிப்பு மற்றும் நீக்குதல் வரை. பல நூலக திறன்கள் ஒழுங்குமுறை விதிகளால் கட்டளையிடப்படுகின்றன, எடுத்துக்காட்டாக, பயிற்சி மற்றும் சரிபார்ப்பு மாதிரிகளின் அறிக்கை மற்றும் சேமிப்பு. உண்மையில், இது எங்கள் அனைத்து மாடல்களின் பதிவு.
மேம்பாட்டு அமைப்பு மாதிரிகள் மற்றும் சரிபார்ப்பு நுட்பங்களின் காட்சி வளர்ச்சிக்காக வடிவமைக்கப்பட்டுள்ளது. உருவாக்கப்பட்ட மாதிரிகள் ஆரம்ப சரிபார்ப்புக்கு உட்படுகின்றன மற்றும் அவற்றின் வணிக செயல்பாடுகளை செயல்படுத்த செயல்படுத்தல் அமைப்புக்கு வழங்கப்படுகின்றன. மேலும், இயக்க நேர அமைப்பில், அதன் செயல்பாட்டை கண்காணிக்க அவ்வப்போது சரிபார்ப்பு நுட்பங்களை தொடங்கும் நோக்கத்திற்காக மாதிரியை ஒரு மானிட்டரில் வைக்கலாம்.
கணினியில் பல வகையான முனைகள் உள்ளன. சில பல்வேறு தரவு மூலங்களுடன் இணைக்க வடிவமைக்கப்பட்டுள்ளன, மற்றவை மூலத் தரவை மாற்றவும் மற்றும் அதை வளப்படுத்தவும் (மார்க்அப்) வடிவமைக்கப்பட்டுள்ளன. வெவ்வேறு மாதிரிகளை உருவாக்குவதற்கு பல முனைகள் மற்றும் அவற்றை சரிபார்க்கும் முனைகள் உள்ளன. டெவலப்பர் எந்த மூலத்திலிருந்தும் தரவை ஏற்றலாம், மாற்றலாம், வடிகட்டலாம், இடைநிலைத் தரவைக் காட்சிப்படுத்தலாம் மற்றும் பகுதிகளாகப் பிரிக்கலாம்.
பிளாட்ஃபார்மில் ஆயத்த தொகுதிகள் உள்ளன, அவை வடிவமைப்பு பகுதிக்கு இழுத்து விடப்படலாம். அனைத்து செயல்களும் காட்சிப்படுத்தப்பட்ட இடைமுகத்தைப் பயன்படுத்தி செய்யப்படுகின்றன. உண்மையில், நீங்கள் ஒரு வரி குறியீடு இல்லாமல் சிக்கலை தீர்க்க முடியும்.
உள்ளமைக்கப்பட்ட திறன்கள் போதுமானதாக இல்லாவிட்டால், உங்கள் சொந்த தொகுதிகளை விரைவாக உருவாக்கும் திறனை கணினி வழங்குகிறது. அதன் அடிப்படையில் ஒரு ஒருங்கிணைந்த வளர்ச்சி முறையை உருவாக்கினோம் புதிதாக புதிய தொகுதிகளை உருவாக்குபவர்களுக்கு.
Sber.DS இன் கட்டமைப்பு மைக்ரோ சர்வீஸில் கட்டமைக்கப்பட்டுள்ளது. மைக்ரோ சர்வீஸ் என்றால் என்ன என்பது பற்றி பல கருத்துக்கள் உள்ளன. மோனோலிதிக் குறியீட்டை பகுதிகளாகப் பிரிப்பது போதுமானது என்று சிலர் நினைக்கிறார்கள், ஆனால் அதே நேரத்தில் அவர்கள் அதே தரவுத்தளத்திற்குச் செல்கிறார்கள். எங்கள் மைக்ரோ சர்வீஸ் மற்றொரு மைக்ரோ சர்வீஸுடன் REST API வழியாக மட்டுமே தொடர்பு கொள்ள வேண்டும். தரவுத்தளத்தை நேரடியாக அணுகுவதற்கான தீர்வுகள் இல்லை.
சேவைகள் மிகப் பெரியதாகவும் விகாரமாகவும் மாறாமல் இருப்பதை உறுதிசெய்ய முயற்சிக்கிறோம்: ஒரு நிகழ்வு 4-8 ஜிகாபைட்களுக்கு மேல் RAM ஐப் பயன்படுத்தக்கூடாது மற்றும் புதிய நிகழ்வுகளைத் தொடங்குவதன் மூலம் கோரிக்கைகளை கிடைமட்டமாக அளவிடும் திறனை வழங்க வேண்டும். ஒவ்வொரு சேவையும் REST API வழியாக மட்டுமே மற்றவர்களுடன் தொடர்பு கொள்கிறது () சேவைக்கு பொறுப்பான குழு, API ஐப் பயன்படுத்தும் கடைசி கிளையன்ட் வரை பின்னோக்கி இணக்கமாக வைத்திருக்க வேண்டும்.
பயன்பாட்டின் மையமானது ஸ்பிரிங் கட்டமைப்பைப் பயன்படுத்தி ஜாவாவில் எழுதப்பட்டுள்ளது. தீர்வு ஆரம்பத்தில் கிளவுட் உள்கட்டமைப்பில் விரைவான வரிசைப்படுத்தலுக்காக வடிவமைக்கப்பட்டது, எனவே பயன்பாடு ஒரு கொள்கலன் அமைப்பைப் பயன்படுத்தி கட்டப்பட்டது. () வணிகச் செயல்பாடுகளை அதிகரிப்பதன் அடிப்படையில் (புதிய இணைப்பிகள், ஆட்டோஎம்எல் சேர்க்கப்படுகின்றன) மற்றும் தொழில்நுட்ப செயல்திறன் ஆகியவற்றின் அடிப்படையில் இயங்குதளம் தொடர்ந்து உருவாகி வருகிறது.
எங்கள் இயங்குதளத்தின் அம்சங்களில் ஒன்று என்னவென்றால், எந்த Sberbank மாதிரி செயல்படுத்தும் அமைப்பிலும் காட்சி இடைமுகத்தில் உருவாக்கப்பட்ட குறியீட்டை இயக்க முடியும். இப்போது அவற்றில் இரண்டு ஏற்கனவே உள்ளன: ஒன்று ஹடூப்பில், மற்றொன்று ஓபன்ஷிப்டில் (டாக்கர்). நாங்கள் அதோடு நின்றுவிடாமல், ஆன்-பிரைமைஸ் மற்றும் கிளவுட் உள்ளிட்ட எந்த உள்கட்டமைப்பிலும் குறியீட்டை இயக்க ஒருங்கிணைப்பு தொகுதிகளை உருவாக்குவோம். Sberbank சுற்றுச்சூழலுடன் பயனுள்ள ஒருங்கிணைப்பின் சாத்தியக்கூறுகள் குறித்து, தற்போதுள்ள செயல்படுத்தும் சூழல்களுடன் வேலை செய்வதை ஆதரிக்கவும் நாங்கள் திட்டமிட்டுள்ளோம். எதிர்காலத்தில், எந்தவொரு அமைப்பின் எந்தவொரு நிலப்பரப்பிலும் தீர்வு "பெட்டிக்கு வெளியே" நெகிழ்வாக ஒருங்கிணைக்கப்படலாம்.
PROM இல் ஹடூப்பில் பைத்தானை இயக்கும் ஒரு தீர்வை ஆதரிக்க முயற்சித்தவர்கள், ஒவ்வொரு டேட்டானோடிற்கும் பைதான் பயனர் சூழலைத் தயாரித்து வழங்குவது போதாது என்பது தெரியும். பைதான் தொகுதிகளைப் பயன்படுத்தும் இயந்திரக் கற்றலுக்கான அதிக எண்ணிக்கையிலான C/C++ நூலகங்கள் உங்களை எளிதாக ஓய்வெடுக்க அனுமதிக்காது. புதிய நூலகங்கள் அல்லது சேவையகங்களைச் சேர்க்கும்போது, ஏற்கனவே செயல்படுத்தப்பட்ட மாதிரிக் குறியீட்டுடன் பின்தங்கிய இணக்கத்தன்மையைப் பராமரிக்கும் போது, தொகுப்புகளைப் புதுப்பிக்க நினைவில் கொள்ள வேண்டும்.
இதை எப்படி செய்வது என்பதற்கு பல அணுகுமுறைகள் உள்ளன. எடுத்துக்காட்டாக, அடிக்கடி பயன்படுத்தப்படும் பல நூலகங்களை முன்கூட்டியே தயார் செய்து அவற்றை PROM இல் செயல்படுத்தவும். கிளவுடராவின் ஹடூப் விநியோகத்தில், அவர்கள் வழக்கமாகப் பயன்படுத்துகிறார்கள் . இப்போது ஹடூப்பில் இயக்க முடியும் - கொள்கலன்கள். சில எளிய சந்தர்ப்பங்களில் தொகுப்புடன் குறியீட்டை வழங்குவது சாத்தியமாகும் .
மூன்றாம் தரப்பு குறியீட்டை இயக்குவதற்கான பாதுகாப்பை வங்கி மிகவும் தீவிரமாக எடுத்துக்கொள்கிறது, எனவே Linux கர்னலின் புதிய அம்சங்களை நாங்கள் அதிகம் பயன்படுத்துகிறோம், அங்கு ஒரு செயல்முறை தனிமைப்படுத்தப்பட்ட சூழலில் இயங்குகிறது. , எடுத்துக்காட்டாக, நெட்வொர்க் மற்றும் உள்ளூர் வட்டுக்கான அணுகலை நீங்கள் கட்டுப்படுத்தலாம், இது தீங்கிழைக்கும் குறியீட்டின் திறன்களை கணிசமாகக் குறைக்கிறது. ஒவ்வொரு துறையின் தரவுப் பகுதிகளும் பாதுகாக்கப்பட்டு இந்தத் தரவின் உரிமையாளர்கள் மட்டுமே அணுக முடியும். ஆதாரங்களுக்கான அணுகல் முதல் இலக்கு கடை முகப்பில் தரவு இறங்குவது வரை அனைத்து நிலைகளிலும் கட்டுப்பாட்டுடன் கூடிய தரவு வெளியீட்டு செயல்முறையின் மூலம் மட்டுமே ஒரு பகுதியிலிருந்து தரவு மற்றொரு பகுதியை அடைய முடியும் என்பதை தளம் உறுதி செய்கிறது.
இந்த ஆண்டு ஹடூப்பில் பைதான்/ஆர்/ஜாவாவில் எழுதப்பட்ட மாடல்களை வெளியிடுவதற்கான எம்விபியை முடிக்க திட்டமிட்டுள்ளோம். ஹடூப்பில் எந்தவொரு தனிப்பயன் சூழலையும் எவ்வாறு இயக்குவது என்பதைக் கற்றுக்கொள்வதற்கான லட்சியப் பணியை நாங்கள் அமைத்துக்கொண்டோம், இதனால் எங்கள் தளத்தின் பயனர்களை எந்த வகையிலும் கட்டுப்படுத்த முடியாது.
கூடுதலாக, பல DS வல்லுநர்கள் கணிதம் மற்றும் புள்ளிவிவரங்களில் சிறந்தவர்கள், சிறந்த மாதிரிகளை உருவாக்குகிறார்கள், ஆனால் பெரிய தரவு மாற்றங்களில் நன்கு அறிந்தவர்கள் அல்ல, மேலும் பயிற்சி மாதிரிகளைத் தயாரிக்க எங்கள் தரவு பொறியாளர்களின் உதவி அவர்களுக்குத் தேவை. எங்கள் சகாக்களுக்கு உதவவும், நிலையான மாற்றம் மற்றும் ஸ்பார்க் எஞ்சினில் மாடல்களுக்கான அம்சங்களைத் தயாரிப்பதற்கு வசதியான தொகுதிகளை உருவாக்கவும் முடிவு செய்தோம். இது மாதிரிகளை உருவாக்குவதற்கு அதிக நேரத்தைச் செலவிட உங்களை அனுமதிக்கும் மற்றும் தரவுப் பொறியாளர்கள் புதிய தரவுத்தொகுப்பைத் தயாரிப்பதற்காக காத்திருக்க வேண்டாம்.
Linux மற்றும் DevOps, Hadoop மற்றும் Spark, Java and Spring, Scala and Akka, OpenShift மற்றும் Kubernetes: பல்வேறு துறைகளில் அறிவுள்ளவர்களை நாங்கள் பணியமர்த்துகிறோம். அடுத்த முறை மாதிரி நூலகத்தைப் பற்றிப் பேசுவோம், அந்த மாதிரி நிறுவனத்திற்குள் வாழ்க்கைச் சுழற்சியில் எவ்வாறு செல்கிறது, சரிபார்ப்பு மற்றும் செயல்படுத்தல் எவ்வாறு நிகழ்கிறது.
ஆதாரம்: www.habr.com