á¡ááœááºá¡á á¬ážá¡áá»áá¯ážáá»áá¯ážááŸááá±á¬ á á®ážááœá¬ážáá±ážáá¯ááºáááºážáá»á¬ážááœáẠáá±á·á ááºá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááá¯ááºááá·áº á¡ááŒá¬ážáá¯ááºáááºážá ááºáá»á¬ážááŸáá·áºáááºáááºááá·áº á¡ááŒá¶á¥á¬ááºáá»á¬ážááŸáá·áº á¡á ááºážá¡áá±ážáá»á¬ážá áá«áá±ááá·áº áá±á¬áºáááºáááºáá®ážáá¬ááŸá¬ á¡áá»áááºá¡áá»á¬ážááŒá®ážáá¯ááºááá¯ááºáá²á·á¡ááŒááºá á¡á²áá«ááᯠá¡áá²ááŒááºááŒá®áž ááááºá áá»áááºážááá¯ááºááŒá±á¬ááºáž á á áºáá±ážááá¯á· ááá¯áá«áááºá á¡áá±á¬ááºá¡áááºáá±á¬áºááŒá®ážáá±á¬áẠáááºááá·áºáá¯á¶á á¶ááá¯áááᯠá á±á¬áá·áºááŒáá·áºááŒá®áž á¡áá«á¡á¬ážáá»á±á¬áºá áœá¬ á á áºáá±ážááá«áááºá
á€á¡áá¬áá»á¬ážááẠáááºááá·áºáá¯áá¹ááá®ááœááºáááᯠáááºážáá¡ááœááºá¡á á¬ážá áááºááŒááºáááºážáááºááá¯á¡ááºááá·áº á¡ááá·áºáá»á¬ážááŒá áºáááºá Sberbank á á¡ááá¯ááºážá¡áá¬ááŸáá·áº á¡ááœá±á¡ááŸá áºáá»á¬ážá¡ááŒá±á¬ááºážááŒá±á¬áá«áá áááºááœá±ááŸáááŒááºážá¡áá±á¡ááœááºááẠá¡áááá¯ážáá¬áááºá 2019 ááŸá áºáá¯ááºááœáẠSberbank ááẠáá±á¬áºááẠ2000 áá»á±á¬áºááᯠá¡áá¯á¶ážááŒá¯ááŒá®ážááŒá áºáááºá áá±á¬áºáááºáá áºáá¯ááᯠáá®ááœááºáá¯á¶áá»áŸááŸáá·áº ááá¯á¶áá±á¬ááºáá«á á ááºááŸá¯á áá áºáá»á¬ážááŸáá·áº áá±á«ááºážá ááºážáááºá áá±á¬áºáááºáá»á¬áž áááºáá±á¬ááºáááºá¡ááœáẠáá±áá¬áá¬á·á áºáá»á¬áž áá±á¬áºáá¯ááºáááºááŸáá·áº á¡á á¯á¡ááœá²á·áá áºáá¯áá±á«áºááœáẠáááºážá áá¯ááºáááºážáá±á¬ááºááœááºááŸá¯ááᯠááááºážáá»á¯ááºááẠáá±áá»á¬á á±ááẠááá¯á¡ááºáá«áááºá
áá»áœááºá¯ááºááá¯á·áá¡ááœá²á·ááẠSber.DS ááááºáá±á¬ááºážááᯠáá±á¬áºáá±á¬ááºáá±áááºá áááºážááẠááá·áºá¡á¬áž á ááºáááºáá°ááŸá¯ááŒá¿áá¬áá»á¬ážááᯠááŒá±ááŸááºážááá¯ááºá á±áá¬á áá°ááá»ááºá ááºážáááºááŒááºážáá¯ááºáááºážá ááºááᯠá¡ááŸáááºááŒáŸáá·áºááá¯ááºá á±áᬠáá°á¡á¬ážááŒáá·áº áá±á¬áºáááºáá»á¬ážááᯠáá®ááœááºááŒááºážááŸáá·áº á¡áááºááŒá¯ááŒááºážáá¯ááºáááºážá ááºááᯠááá¯ážááŸááºážá á±ááŒá®áž PROM ááŸá áá±á¬áºáááºááááºááá¯áááºáž ááááºážáá»á¯ááºáá±ážáá«áááºá
áááºážáá²á·áá»áŸá±á¬áºááá·áºáá»ááºááœá±ááᯠáááŸáá·áºá á¬ážááá¯á·á¡ááœááºá áá®ááá¯á·á áºáᬠáááá«ááºážáá áºáá¯ááŒá áºááŒá®áž ááŒááºáá±á¬ááºááŸá¯á¡á±á¬ááºááŸá¬á Sber.DS ááááºáá±á¬ááºážáá²á· á¡ááŒá±áá¶á¡á¬ážááŒáá·áº áá¬áá²ááá¯áá¬ááᯠááŒá±á¬ááŒáá»ááºáá«áááºá áááºáá®ážááŸá¯á០á¡áá±á¬ááºá¡áááºáá±á¬áºááŒááºážá¡áá áá±á¬áºáááºáá áºáá¯á áááá¶ááá¬á¡ááŒá±á¬ááºážááᯠáá®ážááŒá¬ážá á®ááŒá±á¬ááŒáá«áááºá
Sber.DS ááœáẠá¡á áááºá¡ááá¯ááºážáá»á¬ážá áœá¬áá«áááºááŒá®áž á¡áááá¡áá»ááºáá»á¬ážááŸá¬ á á¬ááŒáá·áºááá¯ááºá ááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á áá áºááŸáá·áº áá±á¬áºáááºáá¯ááºáá±á¬ááºááŸá¯á áá áºááá¯á·ááŒá áºáááºá
á á¬ááŒáá·áºááá¯ááºááẠPROM ááœáẠáááºážááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºááẠá áááºáá°ážáá±á«áºáá¬ááá·áºá¡áá»áááºááŸá á áá±á¬áºáááºááááá¶ááá¬ááᯠááááºážáá»á¯ááºáá¬ážáááºá á á¬ááŒáá·áºááá¯ááºá á¡ááºá¹áá«áááºáá»á¬ážá áœá¬ááᯠá ááºážáááºážááááºážááááºážáá±ážá¡ááœá²á·á á ááºážáá»ááºážáá»á¬ážááŒá áºááá·áº á¥ááá¬á áá±á·áá»áá·áºááŸá¯ááŸáá·áº ááá¬ážáááºááá°áá¬áá»á¬áž ááááºážáááºážááŒááºáž á¡á á®áááºáá¶ááŒááºážááŸáá·áº ááááºážáááºážááŒááºážá ááááºáá±á¬á· áá«á áá»áœááºáá±á¬áºááá¯á·áá²á· áá±á¬áºáááºá¡á¬ážáá¯á¶ážáá²á· ááŸááºáá¯á¶áááºáá áºáá¯áá«á
ááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á áá áºááẠáá±á¬áºáááºáá»á¬ážááŸáá·áº á¡áááºááŒá¯ááŒááºážáááºážáááºážáá»á¬ážááᯠá¡ááŒááºá¡á¬áá¯á¶ááœá¶á·ááŒáá¯ážááá¯ážáááºá á±ááẠáááºááœááºáá«áááºá áá®ááœááºáá¯ááºáá¯ááºáá¬ážáá±á¬ áá±á¬áºáááºáá»á¬ážááẠá¡áááááá¬ážáááºááŸá¯ááᯠáá¶áá°ááŒá®áž áááºážááá¯á·á áá¯ááºáááºážáá±á¬ááºáá¬áá»á¬ážááᯠáá¯ááºáá±á¬ááºáááºá¡ááœáẠááœááºáá»ááºááŸá¯á áá áºááá¯á· áá±ážááá¯á·áááºá ááá¯á·á¡ááŒááºá ááœááºáá»ááºááŸá¯á áá áºááœááºáááºážááááºáááºááŸá¯ááá¯ááááºážáá»á¯ááºááẠvalidation áááºážáááºážáá»á¬ážááᯠá¡áá«á¡á¬ážáá»á±á¬áºá áœá¬ á áááºááá¯ááºááẠáá±á¬áºáá®áá¬áá±á«áºááœáẠáá±á¬áºáááºááᯠááá·áºááœááºážááá¯ááºáááºá
á áá áºááœáẠnode á¡áá»áá¯ážá¡á á¬ážáá»á¬ážá áœá¬ááŸááááºá á¡áá»áá¯á·ááẠá¡áá»áá¯ážáá»áá¯ážáá±á¬ áá±áá¬áááºážááŒá áºáá»á¬ážááŸáá·áº áá»áááºáááºááẠáá®ááá¯ááºážáá¯ááºáá¬ážááŒá®áž á¡áá»áá¯á·ááŸá¬ á¡áááºážá¡ááŒá áºáá±áá¬ááᯠááŒá±á¬ááºážáá²áᬠááŒáœááºáá á±ááŒááºáž (markup) ááŒá¯áá¯ááºááẠáá®ááá¯ááºážáá¯ááºáá¬ážáááºá áááºážááá¯á·á validation á¡ááœáẠá¡áá»áá¯ážáá»áá¯ážáá±á¬ áá±á¬áºáááºáá»á¬ážááŸáá·áº node áá»á¬ážááᯠáááºáá±á¬ááºáááºá¡ááœáẠnode á¡áá»á¬ážá¡ááŒá¬ážááŸááááºá áá±á¬á·ááºáá²á¡ááºáá»ááºáá®áá¬ááẠáááºááá·áº á¡áááºážá¡ááŒá áºááŸáááᯠáá±áá¬ááᯠáááºááá¯ááºáááºá á¡ááœááºááŒá±á¬ááºážá á á áºáá¯ááºá á¡áááºá¡áááºáá±áá¬ááᯠááŒááºáá±á¬ááºááá¯ááºáááºá áááºážááᯠá¡ááá¯ááºážáá»á¬ážááœá²ááá¯ááºáááºá
ááááºáá±á¬ááºážááœáẠááá±á¬áá»ááºá§áááá¬áá±á«áºááá¯á· ááœá²áááºááá¯ááºááá·áº á¡áááºááá·áºáá¯ááºáá¬ážáá±á¬ áá±á¬áºáá»á°ážáá»á¬ážáááºáž áá«ááŸááááºá áá¯ááºáá±á¬ááºáá»ááºá¡á¬ážáá¯á¶ážááᯠááŒááºáá¬áááºáá¬ááŒááºáá¬áá±á¬ á¡ááºáá¬áá±á·á áºááᯠá¡áá¯á¶ážááŒá¯á áá¯ááºáá±á¬ááºáááºá ááááºáá±á¬á·á áá¯ááºáá áºááŒá±á¬ááºážáááºážááá«áá² ááŒá¿áá¬ááᯠáááºááŒá±ááŸááºážááá¯ááºáá«áááºá
Built-in á
áœááºážáááºáá»á¬áž ááá¯á¶áá±á¬ááºáá«áá system ááẠááá·áºááá¯ááºááá¯áẠmodule áá»á¬ážááᯠáá»ááºááŒááºá
áœá¬ áááºáá®ážááá¯ááºá
á±áá«áááºá áá»áœááºá¯ááºááá¯á·ááẠáá±á«ááºážá
ááºááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯áá¯ááºááᯠá¡ááŒá±áá¶á ááŒá¯áá¯ááºáá¬ážáá«áááºá
Sber.DS áááá¯áá¬ááᯠááá¯ááºáááá¯áááºáá±á¬ááºááŸá¯áá»á¬ážáá±á«áºááœáẠáááºáá±á¬ááºáá¬ážáááºá Microservices ááœá±á áá¬ááœá±áá² ááá¯áá¬áá²á· áááºáááºááŒá®áž áááºááŒááºáá°ááá»ááºááœá± á¡áá»á¬ážááŒá®ážááŸááá«áááºá á¡áá»áá¯á·áá±á¬áá°áá»á¬ážá monolithic áá¯ááºááá¯á¡ááá¯ááºážááá¯ááºážááœá²áááºáá¯á¶áá±á¬ááºáááºáá¯áááºáá±á¬áºáááºážáááºážááá¯á·áááºáá°áá®áá±á¬áá±áá¬áá±á·á áºááá¯á·ááœá¬ážáá±áá²ááŒá áºáááºá áá»áœááºá¯ááºááá¯á·á microservice ááẠREST API ááŸáááá·áºáᬠá¡ááŒá¬ážáá±á¬ microservice ááŸáá·áº áááºááœááºááá«áááºá áá±áá¬áá±á·á áºááᯠááá¯ááºááá¯ááºáááºáá±á¬ááºááŒááºážá¡ááœáẠááŒá±ááŸááºážáá»ááºáááŸááá«á
áá»áœááºá¯ááºááá¯á·ááẠáááºáá±á¬ááºááŸá¯áá»á¬ážááᯠá¡ááœááºááŒá®ážáá¬ážááŒá®áž ááŸá±ážááœá±ážááœá¬ážááŒááºážá០ááŸá±á¬ááºááŸá¬ážááẠááŒáá¯ážá
á¬ážáááº- á¥ááá¬áá
áºáá¯ááẠRAM 4-8 áá
áºáá«ááá¯ááºááẠááá¯áá
á¬ážáá¯á¶ážááá·áºáá² ááŒá
áºáááºá¡áá
áºáá»á¬ážááᯠá
áááºááŒááºážááŒáá·áº áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááᯠá¡áá»á¬ážááá¯ááºá¡ááá¯ááºážá¡áá¬ááŒáá·áº ááá¯ááºážáá¬ááá¯ááºááá·áºáá«áááºá áááºáá±á¬ááºááŸá¯áá
áºáá¯á
á®ááẠREST API ááŸáááá·áºáᬠá¡ááŒá¬ážáá°áá»á¬ážááŸáá·áº áááºááœááºááẠ(
Application á core ááᯠSpring Framework ááᯠá¡áá¯á¶ážááŒá¯á Java ááŒáá·áº áá±ážáá¬ážáá¬ážáááºá ááŒá±ááŸááºážáá»ááºááẠáá°áá cloud á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááœáẠáá»ááºááŒááºá
áœá¬ ááŒáá·áºáá»ááºááŸá¯á¡ááœáẠáá®ááá¯ááºážáá¯ááºáá¬ážáá±á¬ááŒá±á¬áá·áº á¡ááá®áá±ážááŸááºážááᯠcontainerization á
áá
áºááŒáá·áº áááºáá±á¬ááºáá¬ážáááºá
áá»áœááºá¯ááºááá¯á·á platform á "chips" áá»á¬ážáá²ááŸáá áºáá¯ááŸá¬ Sberbank model execution system ááŸá Visual Interface ááœáẠáááºáá®ážáá¬ážáá±á¬ Code ááᯠRun ááá¯ááºááŒááºážááŒá áºáááºá ááᯠáááºážááá¯á·áá²á០ááŸá áºáá¯ááŸááá±ááŒá®ááŒá áºáááº- áá áºáá¯ááŸá¬ Hadoop ááœááºááŒá áºááŒá®áž áá±á¬ááºáá áºáá¯ááŸá¬ OpenShift (Docker) ááœááºááŒá áºáááºá áá»áœááºá¯ááºááá¯á·ááẠááá¯áá±áá¬ááœáẠáááºááá±áá² áááá¯ááºá¡ááœááºážááŸáá·áº ááááºááá¯ááºáá»á¬ážááœáẠá¡áá«á¡ááẠáááºááá·áºá¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááœááºáááᯠáá¯ááºááá¯áá¯ááºáá±á¬ááºááẠáá±á«ááºážá ááºážááŸá¯ module áá»á¬ážááᯠáááºáá®ážáá«áááºá Sberbank áá±áá áá áºááá¯á· áááá±á¬ááºá áœá¬ áá±á«ááºážá ááºážááá¯ááºá á±ááá·áº á¡áá¬ážá¡áá¬áá»á¬ážááŸáá·áº áááºáááºá áá»áœááºá¯ááºááá¯á·ááẠááŸáááŒá®ážáá¬áž runtime áááºáááºážáá»ááºááŸáá·áº áá¯ááºáá±á¬ááºááẠá á®á ááºáá±ážáá«áááºá á¡áá¬áááºááœááºá ááŒá±ááŸááºážáá»ááºá¡á¬áž á¡ááœá²á·á¡á ááºážááá¯ááºážá áááºááá·áºá¡áááºážá¡áá»ááºážááœááºáááᯠâáá±áá¹áá¬áá²áâ ááœáẠááá¯ááºáá»á±á¬áá®ááœá±á áœá¬ áá±á«ááºážá ááºážááá¯ááºáááºááŒá áºáááºá
PROM ááŸá Hadoop ááœáẠPython ááá¯á¡áá¯á¶ážááŒá¯ááá·áºááŒá±ááŸááºážáá»ááºááá¯ááááºážááááºážáááºááŒáá¯ážá á¬ážáá°ážáá°áá»á¬ážááẠdatanode áá áºáá¯á á®ááá¯á·á áááºááŒáá¯áẠpython ááẠá ááºážáá»ááºááá¯ááŒááºáááºáááºááŸáá·áºáá±ážááá¯á·áááºáá¯á¶áá±á¬ááºááŸá¯áááŸááááºááá¯áááááºá Python modules ááá¯á¡áá¯á¶ážááŒá¯ááá·áº machine learning á¡ááœáẠC/C++ á á¬ááŒáá·áºááá¯áẠá¡áá»á¬ážá¡ááŒá¬ážááẠááá·áºá¡á¬áž á¡á±ážáá»ááºážá áœá¬ á¡áá¬ážáá°ááá¯ááºáááºááá¯ááºáá±á á¡áá¯á¶ážááŒá¯ááŒá®ážáá±á¬ áá±á¬áºáááºáá¯ááºááŸáá·áº áá±á¬ááºááŒá±á¬ááºážááŒááºááá¯ááºáááºááŸá¯ááᯠááááºážááááºážáá¬ážá áẠá á¬ááŒáá·áºááá¯ááºá¡áá Ạááá¯á·ááá¯áẠáá¬áá¬áá»á¬ážááá·áºááá·áºá¡áá« áááºáá±á·áá»áºáá»á¬ážááᯠá¡ááºááááºáá¯ááºááẠááá±á·ááá·áºáá«á
áá®ááá¯áá¯ááºááá¯á· áá»ááºážáááºáááºážáá»á¬ážá
áœá¬ááŸááá«áááºá á¥ááá¬á¡á¬ážááŒáá·áºá á¡áá¯á¶ážáá»á¬ážáá±á¬ á
á¬ááŒáá·áºááá¯ááºáá»á¬ážá
áœá¬ááᯠááŒáá¯áááºááŒááºáááºááŒá®áž PROM ááœáẠá¡áá±á¬ááºá¡áááºáá±á¬áºáá«á Cloudera á Hadoop ááŒáá·áºááŒá°ážááŸá¯ááᯠá¡áá»á¬ážá¡á¬ážááŒáá·áº á¡áá¯á¶ážááŒá¯áááºá
áááºááẠááŒááºááá¯ááºááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá áá¯á¶ááŒá¯á¶áá±ážááᯠá¡ááœááºá¡áá±ážáá¬ážáá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠáá®ážááŒá¬ážáááºáááºážáá»ááºááœáẠáá¯ááºáá±á¬ááºáá±ááá·áº áá¯ááºáááºážá
ááºááŒá
áºááá·áº Linux kernel á á¡ááºá¹áá«áááºá¡áá
áºáá»á¬ážááᯠá¡áá»á¬ážáá¯á¶ážá¡áá¯á¶ážááŒá¯áá«áááºá
Hadoop ááœáẠPython/R/Java ááŒáá·áºáá±ážáá¬ážáá¬ážáá±á¬ á¡ááŒá±ážáá±á¬áºáááºáá»á¬ážá MVP ááᯠââááá¯ááŸá áºááœáẠá¡ááŒá®ážáááºááẠá á®á ááºáá¬ážáááºá áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·áááááºáá±á¬ááºážáá¡áá¯á¶ážááŒá¯áá°áá»á¬ážááá¯áááºááá·áºáááºážááŒáá·áºáááá¯ááá·áºáááºááẠHadoop ááœááºáááºááá·áºá¡áá¯á¶ážááŒá¯áá°áááºáááºážáá»ááºááá¯áááá¯áááºááá¯á·áááºáááºááááºáááºážá
ááá¯á·á¡ááŒááºá ááœááºáá±á«áºáá¬ááá·áºá¡ááá¯ááºážá áá»á¬ážá áœá¬áá±á¬ DS áá»áœááºážáá»ááºáá°áá»á¬ážááẠáááºá¹áá»á¬ááŸáá·áº á á¬áááºážá¡ááºážááá¬ááœáẠáá°ážáá»áœááºááŒááŒá®áž á¡ááá¯ááºá á¬áž áá±á¬áºáááºáá»á¬ážááᯠáááºáá®ážááŒáááºá ááá¯á·áá±á¬áº ááŒá®ážáá¬ážáá±á¬áá±áá¬á¡ááœááºááŒá±á¬ááºážááŒááºážááœáẠáá±á¬ááºážá áœá¬ááá»áœááºážáá»ááºáá±á¬ááŒá±á¬áá·áº áá±á·áá»áá·áºáá±ážááá°áá¬áá»á¬ážááᯠááŒááºáááºááẠáá»áœááºá¯ááºááá¯á·ááá±áá¬á¡ááºáá»ááºáá®áá¬áá»á¬ážá á¡áá°á¡áá®ááᯠááá¯á¡ááºáá«áááºá áá»áœááºá¯ááºááá¯á·ááá¯ááºáá±á¬áºááá¯ááºáááºáá»á¬ážá¡á¬áž áá°áá®áááºááŸáá·áº Spark á¡ááºáá»ááºááŸá áá±á¬áºáááºáá»á¬ážá¡ááœáẠáá¯á¶ááŸááºá¡ááœááºááŒá±á¬ááºážááŒááºážááŸáá·áº á¡ááºá¹áá«áááºáá»á¬ážááŒááºáááºááŒááºážá¡ááœáẠá¡áááºááŒá±áá±á¬ module áá»á¬ážááᯠáááºáá®ážááẠáá»áœááºá¯ááºááá¯á· áá¯á¶ážááŒááºáá²á·áááºá áááºážááẠáá±á¬áºáááºáá»á¬ážááᯠáá®ááœááºáááºáá®ážááẠá¡áá»áááºááá¯áá á±ááŒá®áž áá±áá¬á¡ááœá²á¡áá áºááᯠááŒááºáááºááẠáá±áá¬á¡ááºáá»ááºáá®áá¬áá»á¬ážááᯠáá á±á¬áá·áºáá² á¡áá»áááºááá¯áá±ážáááºááŒá áºáááºá
áá»áœááºá¯ááºááá¯á·ááœáẠááá°áá®áá±á¬áááºáááºáá»á¬ážááœáẠá¡ááááá¬ááŸááá°áá»á¬áž- Linux ááŸáá·áº DevOpsá Hadoop ááŸáá·áº Sparká Java ááŸáá·áº Springá Scala ááŸáá·áº Akkaá OpenShift ááŸáá·áº Kubernetesá áá±á¬ááºáá áºááŒáááºááœáẠáá±á¬áºáááºáá»á¬ážá á á¬ááŒáá·áºááá¯ááºá¡ááŒá±á¬ááºážá áá±á¬áºáááºááẠáá¯áá¹ááá®á¡ááœááºáž ááá ááºáááºážááᯠááŒááºáááºážáá¯á¶á ááá¬ážáááºááŸá¯ááŸáá·áº á¡áá±á¬ááºá¡áááºáá±á¬áºáá¯á¶ááá¯á·ááᯠááœá±ážááœá±ážáá«áááºá
source: www.habr.com