Sber.DS គឺជាវេទិកាមួយដែលអនុញ្ញាតឱ្យអ្នកបង្កើត និងអនុវត្តគំរូ ទោះបីជាគ្មានកូដក៏ដោយ។

គំនិត និងការប្រជុំអំពីអ្វីដែលដំណើរការផ្សេងទៀតអាចត្រូវបានដោយស្វ័យប្រវត្តិកើតឡើងនៅក្នុងអាជីវកម្មដែលមានទំហំផ្សេងៗជារៀងរាល់ថ្ងៃ។ ប៉ុន្តែបន្ថែមពីលើការពិតដែលថាពេលវេលាជាច្រើនអាចត្រូវបានចំណាយលើការបង្កើតគំរូមួយអ្នកត្រូវចំណាយវាលើការវាយតម្លៃវាហើយពិនិត្យមើលថាលទ្ធផលដែលទទួលបានគឺមិនចៃដន្យទេ។ បន្ទាប់ពីការអនុវត្ត គំរូណាមួយត្រូវតែត្រួតពិនិត្យ និងត្រួតពិនិត្យជាប្រចាំ។

ហើយទាំងនេះគឺជាដំណាក់កាលទាំងអស់ដែលត្រូវបញ្ចប់នៅក្នុងក្រុមហ៊ុនណាមួយដោយមិនគិតពីទំហំរបស់វា។ ប្រសិនបើយើងកំពុងនិយាយអំពីមាត្រដ្ឋាន និងកេរ្តិ៍ដំណែលរបស់ Sberbank ចំនួននៃការកែតម្រូវកើនឡើងយ៉ាងខ្លាំង។ នៅចុងឆ្នាំ 2019 Sber បានប្រើជាង 2000 ម៉ូដែលរួចហើយ។ វាមិនគ្រប់គ្រាន់ទេក្នុងការអភិវឌ្ឍន៍គំរូមួយដោយសាមញ្ញ វាចាំបាច់ក្នុងការរួមបញ្ចូលជាមួយប្រព័ន្ធឧស្សាហកម្ម អភិវឌ្ឍម៉ាតទិន្នន័យសម្រាប់ការសាងសង់គំរូ និងធានាការគ្រប់គ្រងប្រតិបត្តិការរបស់វានៅលើចង្កោម។

ក្រុមរបស់យើងកំពុងបង្កើតវេទិកា Sber.DS ។ វាអនុញ្ញាតឱ្យអ្នកដោះស្រាយបញ្ហាការរៀនរបស់ម៉ាស៊ីន បង្កើនល្បឿនដំណើរការនៃការសាកល្បងសម្មតិកម្ម ជាគោលការណ៍ធ្វើឱ្យដំណើរការនៃការអភិវឌ្ឍន៍ និងសុពលភាពគំរូ ហើយថែមទាំងគ្រប់គ្រងលទ្ធផលនៃគំរូនៅក្នុង PROM ផងដែរ។

ដើម្បីកុំឱ្យបោកបញ្ឆោតការរំពឹងទុករបស់អ្នក ខ្ញុំចង់និយាយជាមុនថាការប្រកាសនេះគឺជាការណែនាំមួយ ហើយនៅក្រោមការកាត់នេះ សម្រាប់ការចាប់ផ្តើម យើងនិយាយអំពីអ្វីដែលជាគោលការណ៍គឺស្ថិតនៅក្រោមក្រណាត់នៃវេទិកា Sber.DS ។ យើងនឹងប្រាប់រឿងអំពីវដ្តជីវិតនៃគំរូពីការបង្កើតរហូតដល់ការអនុវត្តដោយឡែកពីគ្នា។

Sber.DS មានធាតុផ្សំជាច្រើន ដែលសំខាន់គឺបណ្ណាល័យ ប្រព័ន្ធអភិវឌ្ឍន៍ និងប្រព័ន្ធប្រតិបត្តិគំរូ។

បណ្ណាល័យគ្រប់គ្រងវដ្តជីវិតនៃគំរូចាប់ពីពេលដែលគំនិតដើម្បីអភិវឌ្ឍវាលេចឡើងរហូតដល់ការអនុវត្តនៅក្នុង PROM ការត្រួតពិនិត្យ និងការបញ្ឈប់។ សមត្ថភាពបណ្ណាល័យជាច្រើនត្រូវបានកំណត់ដោយច្បាប់និយតករ ឧទាហរណ៍ ការរាយការណ៍ និងការផ្ទុកគំរូបណ្តុះបណ្តាល និងសុពលភាព។ តាមពិតនេះគឺជាការចុះឈ្មោះនៃម៉ូដែលទាំងអស់របស់យើង។

ប្រព័ន្ធអភិវឌ្ឍន៍ត្រូវបានរចនាឡើងសម្រាប់ការអភិវឌ្ឍដែលមើលឃើញនៃគំរូ និងបច្ចេកទេសសុពលភាព។ ម៉ូដែលដែលបានអភិវឌ្ឍឆ្លងកាត់ការបញ្ជាក់ដំបូង ហើយត្រូវបានផ្គត់ផ្គង់ទៅឱ្យប្រព័ន្ធប្រតិបត្តិ ដើម្បីអនុវត្តមុខងារអាជីវកម្មរបស់ពួកគេ។ ដូចគ្នានេះផងដែរនៅក្នុងប្រព័ន្ធពេលដំណើរការ ម៉ូដែលអាចត្រូវបានដាក់នៅលើម៉ូនីទ័រសម្រាប់គោលបំណងនៃការចាប់ផ្តើមបច្ចេកទេសសុពលភាពជាទៀងទាត់ដើម្បីតាមដានប្រតិបត្តិការរបស់វា។

មានប្រភេទថ្នាំងជាច្រើននៅក្នុងប្រព័ន្ធ។ ខ្លះត្រូវបានរចនាឡើងដើម្បីភ្ជាប់ទៅប្រភពទិន្នន័យផ្សេងៗ ខ្លះទៀតត្រូវបានរចនាឡើងដើម្បីបំប្លែងទិន្នន័យប្រភព និងបង្កើនវា (សម្គាល់)។ មានថ្នាំងជាច្រើនសម្រាប់បង្កើតគំរូ និងថ្នាំងផ្សេងៗគ្នាសម្រាប់ផ្ទៀងផ្ទាត់ពួកវា។ អ្នកអភិវឌ្ឍន៍អាចផ្ទុកទិន្នន័យពីប្រភពណាមួយ បំប្លែង ត្រង មើលទិន្នន័យកម្រិតមធ្យម និងបំបែកវាជាផ្នែក។

វេទិកានេះក៏មានម៉ូឌុលដែលត្រៀមរួចជាស្រេចដែលអាចអូស និងទម្លាក់ទៅលើផ្ទៃរចនា។ សកម្មភាពទាំងអស់ត្រូវបានអនុវត្តដោយប្រើចំណុចប្រទាក់ដែលមើលឃើញ។ តាមពិតទៅ អ្នកអាចដោះស្រាយបញ្ហាបានដោយមិនចាំបាច់មានកូដតែមួយ។

ប្រសិនបើសមត្ថភាពដែលភ្ជាប់មកជាមួយមិនគ្រប់គ្រាន់នោះ ប្រព័ន្ធផ្តល់នូវសមត្ថភាពក្នុងការបង្កើតម៉ូឌុលផ្ទាល់ខ្លួនរបស់អ្នកយ៉ាងឆាប់រហ័ស។ យើងបានបង្កើតរបៀបអភិវឌ្ឍន៍រួមបញ្ចូលគ្នាដោយផ្អែកលើ Jupyter Kernel Gateway សម្រាប់អ្នកដែលបង្កើតម៉ូឌុលថ្មីពីដំបូង។

ស្ថាបត្យកម្មរបស់ Sber.DS ត្រូវបានបង្កើតឡើងនៅលើសេវាមីក្រូ។ មានមតិជាច្រើនអំពីអ្វីទៅជាសេវាមីក្រូ។ មនុស្សមួយចំនួនគិតថាវាគ្រប់គ្រាន់ហើយក្នុងការបំបែកកូដ monolithic ទៅជាផ្នែកៗ ប៉ុន្តែនៅពេលជាមួយគ្នាពួកគេនៅតែចូលទៅកាន់មូលដ្ឋានទិន្នន័យដដែល។ សេវាមីក្រូរបស់យើងត្រូវតែទាក់ទងជាមួយសេវាមីក្រូផ្សេងទៀតតាមរយៈ REST API ប៉ុណ្ណោះ។ មិនមានដំណោះស្រាយដើម្បីចូលប្រើមូលដ្ឋានទិន្នន័យដោយផ្ទាល់ទេ។

យើងព្យាយាមធានាថាសេវាកម្មមិនមានទំហំធំ និងច្របូកច្របល់ទេ៖ ឧទាហរណ៍មួយមិនគួរប្រើប្រាស់ RAM លើសពី 4-8 ជីហ្គាបៃទេ ហើយត្រូវតែផ្តល់នូវសមត្ថភាពក្នុងការធ្វើមាត្រដ្ឋានសំណើរផ្តេកដោយការបើកដំណើរការករណីថ្មីៗ។ សេវាកម្មនីមួយៗទាក់ទងជាមួយអ្នកដទៃបានតែតាមរយៈ REST API (បើក API) ក្រុមដែលទទួលខុសត្រូវចំពោះសេវាកម្មគឺតម្រូវឱ្យរក្សា API ថយក្រោយដែលត្រូវគ្នារហូតដល់អតិថិជនចុងក្រោយដែលប្រើវា។

ស្នូលនៃកម្មវិធីត្រូវបានសរសេរជា Java ដោយប្រើ Spring Framework ។ ដំណោះស្រាយនេះត្រូវបានរចនាឡើងដំបូងសម្រាប់ការដាក់ពង្រាយយ៉ាងឆាប់រហ័សនៅក្នុងហេដ្ឋារចនាសម្ព័ន្ធពពក ដូច្នេះកម្មវិធីត្រូវបានបង្កើតឡើងដោយប្រើប្រព័ន្ធកុងតឺន័រ មួកក្រហមអូសអេស (Kubernetes) វេទិកានេះកំពុងវិវឌ្ឍឥតឈប់ឈរ ទាំងនៅក្នុងលក្ខខណ្ឌនៃការបង្កើនមុខងារអាជីវកម្ម (ឧបករណ៍ភ្ជាប់ថ្មី AutoML កំពុងត្រូវបានបន្ថែម) និងទាក់ទងនឹងប្រសិទ្ធភាពបច្ចេកវិទ្យា។

លក្ខណៈពិសេសមួយនៃវេទិការបស់យើងគឺថាយើងអាចដំណើរការកូដដែលបានបង្កើតឡើងនៅក្នុងចំណុចប្រទាក់ដែលមើលឃើញនៅលើប្រព័ន្ធប្រតិបត្តិគំរូ Sberbank ណាមួយ។ ឥឡូវនេះមានពីររួចហើយ៖ មួយនៅលើ Hadoop មួយទៀតនៅលើ OpenShift (Docker) ។ យើងមិនឈប់នៅទីនោះទេ ហើយបង្កើតម៉ូឌុលរួមបញ្ចូល ដើម្បីដំណើរការកូដលើហេដ្ឋារចនាសម្ព័ន្ធណាមួយ រួមទាំងក្នុងបរិវេណ និងក្នុងពពក។ ទាក់ទងនឹងលទ្ធភាពនៃការរួមបញ្ចូលប្រកបដោយប្រសិទ្ធភាពទៅក្នុងប្រព័ន្ធអេកូ Sberbank យើងក៏មានគម្រោងគាំទ្រការងារជាមួយបរិស្ថានប្រតិបត្តិដែលមានស្រាប់ផងដែរ។ នៅពេលអនាគត ដំណោះស្រាយអាចត្រូវបានរួមបញ្ចូលយ៉ាងបត់បែន "ចេញពីប្រអប់" ទៅក្នុងទិដ្ឋភាពនៃអង្គការណាមួយ។

អ្នកទាំងឡាយណាដែលធ្លាប់ព្យាយាមគាំទ្រដំណោះស្រាយដែលដំណើរការ Python នៅលើ Hadoop ក្នុង PROM ដឹងថាវាមិនគ្រប់គ្រាន់ក្នុងការរៀបចំ និងផ្តល់បរិយាកាសអ្នកប្រើប្រាស់ Python ទៅកាន់ datanode នីមួយៗនោះទេ។ ចំនួនដ៏ច្រើននៃបណ្ណាល័យ C/C++ សម្រាប់ការរៀនម៉ាស៊ីនដែលប្រើម៉ូឌុល Python នឹងមិនអនុញ្ញាតឱ្យអ្នកសម្រាកបានស្រួលនោះទេ។ យើងត្រូវតែចងចាំដើម្បីធ្វើបច្ចុប្បន្នភាពកញ្ចប់នៅពេលបន្ថែមបណ្ណាល័យថ្មី ឬម៉ាស៊ីនមេ ខណៈពេលដែលរក្សាភាពឆបគ្នាថយក្រោយជាមួយនឹងកូដគំរូដែលបានអនុវត្តរួចហើយ។

មាន​វិធី​សាស្ត្រ​ជា​ច្រើន​ដើម្បី​ធ្វើ​បែប​នេះ។ ជាឧទាហរណ៍ រៀបចំបណ្ណាល័យដែលប្រើញឹកញាប់ជាច្រើនជាមុន ហើយអនុវត្តវានៅក្នុង PROM ។ នៅក្នុងការចែកចាយ Hadoop របស់ Cloudera ពួកគេជាធម្មតាប្រើ ក្បាលដី. ឥឡូវនេះផងដែរនៅក្នុង Hadoop វាគឺអាចធ្វើទៅបានដើម្បីដំណើរការ docker- ធុង។ ក្នុង​ករណី​សាមញ្ញ​មួយ​ចំនួន វា​អាច​ផ្តល់​ជូន​កូដ​រួម​ជាមួយ​នឹង​កញ្ចប់ python.eggs.

ធនាគារយកចិត្តទុកដាក់លើសុវត្ថិភាពនៃការដំណើរការកូដភាគីទីបីយ៉ាងខ្លាំង ដូច្នេះយើងធ្វើឱ្យភាគច្រើនបំផុតនៃលក្ខណៈពិសេសថ្មីនៃខឺណែលលីនុច ដែលដំណើរការដំណើរការក្នុងបរិយាកាសដាច់ដោយឡែក។ ចន្លោះឈ្មោះលីនុចឧទាហរណ៍ អ្នកអាចកំណត់ការចូលទៅកាន់បណ្តាញ និងថាសមូលដ្ឋាន ដែលកាត់បន្ថយសមត្ថភាពនៃកូដព្យាបាទយ៉ាងខ្លាំង។ តំបន់ទិន្នន័យនៃនាយកដ្ឋាននីមួយៗត្រូវបានការពារ និងអាចចូលប្រើបានតែចំពោះម្ចាស់ទិន្នន័យនេះប៉ុណ្ណោះ។ វេទិកានេះធានាថាទិន្នន័យពីតំបន់មួយអាចទៅដល់តំបន់មួយផ្សេងទៀតបានតែតាមរយៈដំណើរការបោះពុម្ពផ្សាយទិន្នន័យដែលមានការគ្រប់គ្រងគ្រប់ដំណាក់កាលចាប់ពីការចូលទៅកាន់ប្រភពរហូតដល់ការចុះចតនៃទិន្នន័យនៅក្នុងហាងគោលដៅ។

នៅឆ្នាំនេះ យើងមានគម្រោងបញ្ចប់ MVP នៃការចាប់ផ្តើមម៉ូដែលដែលសរសេរនៅក្នុង Python/R/Java នៅលើ Hadoop ។ យើងបានកំណត់ខ្លួនយើងនូវភារកិច្ចដ៏មានមហិច្ឆតាក្នុងការរៀនពីរបៀបដំណើរការបរិយាកាសផ្ទាល់ខ្លួនណាមួយនៅលើ Hadoop ដូច្នេះជាការមិនកំណត់អ្នកប្រើប្រាស់នៃវេទិការបស់យើងតាមមធ្យោបាយណាមួយឡើយ។

លើសពីនេះ ដូចដែលវាបានប្រែក្លាយ អ្នកឯកទេស DS ជាច្រើនពូកែខាងគណិតវិទ្យា និងស្ថិតិ បង្កើតគំរូល្អៗ ប៉ុន្តែមិនសូវពូកែក្នុងការបំប្លែងទិន្នន័យធំៗទេ ហើយពួកគេត្រូវការជំនួយពីវិស្វករទិន្នន័យរបស់យើង ដើម្បីរៀបចំគំរូបណ្តុះបណ្តាល។ យើងបានសម្រេចចិត្តជួយសហការីរបស់យើង និងបង្កើតម៉ូឌុលងាយស្រួលសម្រាប់ការផ្លាស់ប្តូរស្តង់ដារ និងការរៀបចំលក្ខណៈពិសេសសម្រាប់ម៉ូដែលនៅលើម៉ាស៊ីន Spark ។ នេះនឹងអនុញ្ញាតឱ្យអ្នកចំណាយពេលច្រើនក្នុងការអភិវឌ្ឍន៍គំរូ និងមិនរង់ចាំវិស្វករទិន្នន័យដើម្បីរៀបចំសំណុំទិន្នន័យថ្មី។

យើងជួលមនុស្សដែលមានចំណេះដឹងនៅក្នុងតំបន់ផ្សេងៗគ្នា៖ Linux និង DevOps, Hadoop និង Spark, Java និង Spring, Scala និង Akka, OpenShift និង Kubernetes ។ លើកក្រោយយើងនឹងនិយាយអំពីបណ្ណាល័យគំរូ របៀបដែលគំរូឆ្លងកាត់វដ្តជីវិតនៅក្នុងក្រុមហ៊ុន របៀបដែលសុពលភាព និងការអនុវត្តកើតឡើង។

ប្រភព: www.habr.com