рдЧреЗрд▓реНрдпрд╛ рдЖрда рд╡рд░реНрд╖рд╛рдВрдкрд╛рд╕реВрди рдореА рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдореЕрдиреЗрдЬрд░ рдореНрд╣рдгреВрди рдХрд╛рдо рдХрд░рдд рдЖрд╣реЗ (рдореА рдХрд╛рдорд╛рд╡рд░ рдХреЛрдб рд▓рд┐рд╣рд┐рдд рдирд╛рд╣реА), рдЬреНрдпрд╛рдЪрд╛ рд╕реНрд╡рд╛рднрд╛рд╡рд┐рдХрдкрдгреЗ рдорд╛рдЭреНрдпрд╛ рддрд╛рдВрддреНрд░рд┐рдХ рдмреЕрдХрдПрдВрдбрд╡рд░ рдирдХрд╛рд░рд╛рддреНрдордХ рдкрд░рд┐рдгрд╛рдо рд╣реЛрддреЛ. рдореА рдорд╛рдЭреЗ рддрд╛рдВрддреНрд░рд┐рдХ рдЕрдВрддрд░ рдмрдВрдж рдХрд░реВрди рдбреЗрдЯрд╛ рдЗрдВрдЬрд┐рдиреАрдЕрд░рдЪрд╛ рд╡реНрдпрд╡рд╕рд╛рдп рдХрд░рдгреНрдпрд╛рдЪрд╛ рдирд┐рд░реНрдгрдп рдШреЗрддрд▓рд╛. рдбреЗрдЯрд╛ рдЗрдВрдЬрд┐рдирд┐рдЕрд░рдЪреЗ рдореБрдЦреНрдп рдХреМрд╢рд▓реНрдп рдореНрд╣рдгрдЬреЗ рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕ рдбрд┐рдЭрд╛рдЗрди рдХрд░рдгреЗ, рддрдпрд╛рд░ рдХрд░рдгреЗ рдЖрдгрд┐ рддреНрдпрд╛рдВрдЪреА рджреЗрдЦрднрд╛рд▓ рдХрд░рдгреЗ.
рдореА рдПрдХ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдпреЛрдЬрдирд╛ рдмрдирд╡рд▓реА рдЖрд╣реЗ, рдорд▓рд╛ рд╡рд╛рдЯрддреЗ рдХреА рддреЗ рдХреЗрд╡рд│ рдорд╛рдЭреНрдпрд╛рд╕рд╛рдареАрдЪ рдЙрдкрдпреБрдХреНрдд рдирд╛рд╣реА. рдпреЛрдЬрдирд╛ рд╕реНрд╡рдпрдВ-рдЕрднреНрдпрд╛рд╕ рдЕрднреНрдпрд╛рд╕рдХреНрд░рдорд╛рдВрд╡рд░ рдХреЗрдВрджреНрд░рд┐рдд рдЖрд╣реЗ. рд░рд╢рд┐рдпрди рднрд╛рд╖реЗрддреАрд▓ рд╡рд┐рдирд╛рдореВрд▓реНрдп рдЕрднреНрдпрд╛рд╕рдХреНрд░рдорд╛рдВрдирд╛ рдкреНрд░рд╛рдзрд╛рдиреНрдп рджрд┐рд▓реЗ рдЬрд╛рддреЗ.
рд╡рд┐рднрд╛рдЧ:
- рдЕрд▓реНрдЧреЛрд░рд┐рджрдо рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╕рдВрд░рдЪрдирд╛. рдХреА рд╡рд┐рднрд╛рдЧ. рддреЗ рд╢рд┐рдХрд╛ рдЖрдгрд┐ рдЗрддрд░ рд╕рд░реНрд╡ рдХрд╛рд╣реА рдХрд╛рд░реНрдп рдХрд░реЗрд▓. рдХреЛрдбрд╡рд░ рдЖрдкрд▓реЗ рд╣рд╛рдд рдорд┐рд│рд╡рдгреЗ рдЖрдгрд┐ рдореВрд▓рднреВрдд рд╕рдВрд░рдЪрдирд╛ рдЖрдгрд┐ рдЕрд▓реНрдЧреЛрд░рд┐рджрдо рд╡рд╛рдкрд░рдгреЗ рдорд╣рддреНрд╡рд╛рдЪреЗ рдЖрд╣реЗ.
- рдбреЗрдЯрд╛рдмреЗрд╕ рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕, рд╡реНрдпрд╡рд╕рд╛рдп рдмреБрджреНрдзрд┐рдорддреНрддрд╛. рдЖрдореНрд╣реА рдЕрд▓реНрдЧреЛрд░рд┐рджрдордордзреВрди рдбреЗрдЯрд╛ рд╕реНрдЯреЛрд░реЗрдЬ рдЖрдгрд┐ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧрдХрдбреЗ рдЬрд╛рдд рдЖрд╣реЛрдд.
- рд╣рдбреВрдк рдЖрдгрд┐ рдмрд┐рдЧ рдбреЗрдЯрд╛. рдЬреЗрд╡реНрд╣рд╛ рд╣рд╛рд░реНрдб рдбреНрд░рд╛рдЗрд╡реНрд╣рд╡рд░ рдбреЗрдЯрд╛рдмреЗрд╕ рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдХреЗрд▓рд╛ рдЬрд╛рдд рдирд╛рд╣реА, рдХрд┐рдВрд╡рд╛ рдЬреЗрд╡реНрд╣рд╛ рдбреЗрдЯрд╛рдЪреЗ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЕрд╕рддреЗ, рдкрд░рдВрддреБ рдПрдХреНрд╕реЗрд▓ рдпрд╛рдкреБрдвреЗ рддреНрдпрд╛рдВрдирд╛ рд▓реЛрдб рдХрд░реВ рд╢рдХрдд рдирд╛рд╣реА, рддреЗрд╡реНрд╣рд╛ рдореЛрдард╛ рдбреЗрдЯрд╛ рд╕реБрд░реВ рд╣реЛрддреЛ. рдорд╛рдЭреНрдпрд╛ рдорддреЗ, рдЖрдзреАрдЪреНрдпрд╛ рджреЛрди рднрд╛рдЧрд╛рдВрдЪрд╛ рд╕рдЦреЛрд▓ рдЕрднреНрдпрд╛рд╕ рдХреЗрд▓реНрдпрд╛рдирдВрддрд░рдЪ рдпрд╛ рд╡рд┐рднрд╛рдЧрд╛рдд рдЬрд╛рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ.
рдЕрд▓реНрдЧреЛрд░рд┐рджрдо рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╕рдВрд░рдЪрдирд╛
рдорд╛рдЭреНрдпрд╛ рдпреЛрдЬрдиреЗрдд, рдореА рдкрд╛рдпрдерди рд╢рд┐рдХрдгреЗ, рдЧрдгрд┐рддрд╛рдЪреНрдпрд╛ рдореВрд▓рднреВрдд рдЧреЛрд╖реНрдЯреАрдВрдЪреА рдкреБрдирд░рд╛рд╡реГрддреНрддреА рдХрд░рдгреЗ рдЖрдгрд┐ рдЕрд▓реНрдЧреЛрд░рд┐рджрдореАрдХрд░рдг рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдХреЗрд▓реЗ.
рдкрд╛рдпрдерди рдордзреНрдпреЗ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рдкрд╛рдпрдерди: рдореВрд▓рднреВрдд рдЖрдгрд┐ рдЕрдиреБрдкреНрд░рдпреЛрдЧ рд░реЗрдЦреАрдп рдмреАрдЬрдЧрдгрд┐рдд рд╕реНрд╡рддрдВрддреНрд░ рдЧрдгрд┐рддрд╛рд╡рд░ рд▓рд┐рдХрдмреЗрдЭ рдЕрд▓реНрдЧреЛрд░рд┐рджрдо: рд╕рд┐рджреНрдзрд╛рдВрдд рдЖрдгрд┐ рд╕рд░рд╛рд╡. рдкрджреНрдзрддреА рдЕрд▓реНрдЧреЛрд░рд┐рджрдо: рд╕рд┐рджреНрдзрд╛рдВрдд рдЖрдгрд┐ рд╕рд░рд╛рд╡. рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрд╕
рдбреЗрдЯрд╛рдмреЗрд╕ рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕, рд╡реНрдпрд╡рд╕рд╛рдп рдмреБрджреНрдзрд┐рдорддреНрддрд╛
- рдкреБрд╕реНрддрдХ: рдорд╛рд░реНрдЯрд┐рди рдХреНрд▓реЗрдкрдорди - рдЙрдЪреНрдЪ рд▓реЛрдб рдХреЗрд▓реЗрд▓реЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧ. рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ, рд╕реНрдХреЗрд▓рд┐рдВрдЧ, рд╕рдорд░реНрдерди. рдкреБрд╕реНрддрдХрд╛рдд рд╡рд┐рд╡рд┐рдз рдбреЗрдЯрд╛ рдореЙрдбреЗрд▓ рдХрд╕реЗ рдХрд╛рд░реНрдп рдХрд░рддрд╛рдд, рддреНрдпрд╛рдВрдЪреА рдЖрддреВрди рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреА, рдорд░реНрдпрд╛рджрд╛ рдЖрдгрд┐ рдХрд╛рд░реНрдпрд╛рд╡рд░ рдЕрд╡рд▓рдВрдмреВрди рдЕрд╕рд▓реЗрд▓реНрдпрд╛ рдирд┐рд╡рдбреАрдВрдЪреЗ рд╡рд░реНрдгрди рдХреЗрд▓реЗ рдЖрд╣реЗ.
рдбреЗрдЯрд╛рдмреЗрд╕рдЪрд╛ рдкрд░рд┐рдЪрдп DBMS рдордзреНрдпреЗ рдЬрд╛ рдиреЙрди-рд░рд┐рд▓реЗрд╢рдирд▓ рдбреЗрдЯрд╛рдмреЗрд╕рдЪрд╛ рдкрд░рд┐рдЪрдп
рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕, ETL, OLAP рдХреНрдпреВрдмреНрд╕ рдмрдирд╡рдгреНрдпрд╛рд╢реА рд╕рдВрдмрдВрдзрд┐рдд рд╡рд┐рд╖рдп рд╣реЗ рдЯреВрд▓реНрд╕рд╡рд░ рдЬрд╛рд╕реНрдд рдЕрд╡рд▓рдВрдмреВрди рдЖрд╣реЗрдд, рдореНрд╣рдгреВрди рдореА рдпрд╛ рдбреЙрдХреНрдпреБрдореЗрдВрдЯрдордзреАрд▓ рдХреЛрд░реНрд╕реЗрд╕рдЪреА рд▓рд┐рдВрдХ рджреЗрдд рдирд╛рд╣реА. рд╡рд┐рд╢рд┐рд╖реНрдЯ рдХрдВрдкрдиреАрдордзреНрдпреЗ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдкреНрд░рдХрд▓реНрдкрд╛рд╡рд░ рдХрд╛рдо рдХрд░рддрд╛рдирд╛ рдЕрд╢рд╛ рдкреНрд░рдгрд╛рд▓реАрдВрдЪрд╛ рдЕрднреНрдпрд╛рд╕ рдХрд░рдгреЗ рдЙрдЪрд┐рдд рдЖрд╣реЗ. рдИрдЯреАрдПрд▓рдЪреНрдпрд╛ рдУрд│рдЦреАрд╕рд╛рдареА, рддреБрдореНрд╣реА рдкреНрд░рдпрддреНрди рдХрд░реВ рд╢рдХрддрд╛
рдорд╛рдЭреНрдпрд╛ рдорддреЗ, рдЖрдзреБрдирд┐рдХ рдбреЗрдЯрд╛ рд╡реНрд╣реЙрд▓реНрдЯ рдбрд┐рдЭрд╛рдЗрди рдкрджреНрдзрддреАрдЪрд╛ рдЕрднреНрдпрд╛рд╕ рдХрд░рдгреЗ рдорд╣рддреНрддреНрд╡рд╛рдЪреЗ рдЖрд╣реЗ
рдЕрдВрддрд┐рдо рд╡рд╛рдкрд░рдХрд░реНрддреНрдпрд╛рдВрд╕рд╛рдареА рдмрд┐рдЭрдиреЗрд╕ рдЗрдВрдЯреЗрд▓рд┐рдЬрдиреНрд╕ рдЯреВрд▓реНрд╕рд╢реА рдкрд░рд┐рдЪрд┐рдд рд╣реЛрдгреНрдпрд╛рд╕рд╛рдареА, рддреБрдореНрд╣реА рд░рд┐рдкреЛрд░реНрдЯреНрд╕, рдбреЕрд╢рдмреЛрд░реНрдб, рдорд┐рдиреА рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕ рдкреЙрд╡рд░ рдмреАрдЖрдп рдбреЗрд╕реНрдХрдЯреЙрдкрдЪреЗ рд╡рд┐рдирд╛рдореВрд▓реНрдп рдбрд┐рдЭрд╛рдЗрдирд░ рд╡рд╛рдкрд░реВ рд╢рдХрддрд╛. рд╢реИрдХреНрд╖рдгрд┐рдХ рд╕рд╛рд╣рд┐рддреНрдп:
рд╣рдбреВрдк рдЖрдгрд┐ рдмрд┐рдЧ рдбреЗрдЯрд╛
- рддреБрдореНрд╣рд╛рд▓рд╛ рддреГрддреАрдп-рдкрдХреНрд╖ рд▓рд╛рдпрдмреНрд░рд░реАрд╢рд┐рд╡рд╛рдп MapReduce рдЪреНрдпрд╛ рд╕реНрд╡рддрдВрддреНрд░ рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреАрд╕рд╣ рдкреНрд░рд╛рд░рдВрдн рдХрд░рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ. рд╣реЗ рднрд╡рд┐рд╖реНрдпрд╛рдд рдорд▓реНрдЯреАрдереНрд░реЗрдб рдХреЗрд▓реЗрд▓реНрдпрд╛ рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреАрдЪреА рдЕрдзрд┐рдХ рдЪрд╛рдВрдЧрд▓реНрдпрд╛ рдкреНрд░рдХрд╛рд░реЗ рд╕рдордЬреВрди рдШреЗрдгреНрдпрд╛рд╕ рдЕрдиреБрдорддреА рджреЗрдИрд▓. Python рдордзреНрдпреЗ рдПрдХ рдЙрддреНрдХреГрд╖реНрдЯ рдЙрджрд╛рд╣рд░рдг рд╡рд░реНрдгрди рдХреЗрд▓реЗ рдЖрд╣реЗ
рдпреЗрдереЗ . рд╣рдбреВрдк. рдореЛрдареНрдпрд╛ рдкреНрд░рдорд╛рдгрд╛рдд рдбреЗрдЯрд╛рд╡рд░ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╕рд┐рд╕реНрдЯрдо. рдмрд┐рдЧ рдбреЗрдЯрд╛ рдЗрдВрдЬрд┐рдирд┐рдЕрд░рд┐рдВрдЧрдЪрд╛ рдкрд░рд┐рдЪрдп
рдирд┐рд╖реНрдХрд░реНрд╖
рддреБрдореНрд╣реА рдЬреЗ рдХрд╛рд╣реА рд╢рд┐рдХрддрд╛ рддреЗ рдХрд╛рдорд╛рд╡рд░ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рдпреЗрдд рдирд╛рд╣реА. рдореНрд╣рдгреВрди, рдЖрдкрд▓реНрдпрд╛рд▓рд╛ рдкрджрд╡реА рдкреНрд░рдХрд▓реНрдкрд╛рдЪреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдЖрд╣реЗ рдЬреНрдпрд╛рдордзреНрдпреЗ рдЖрдкрдг рдирд╡реАрди рдЬреНрдЮрд╛рди рд▓рд╛рдЧреВ рдХрд░рдгреНрдпрд╛рдЪрд╛ рдкреНрд░рдпрддреНрди рдХрд░рд╛рд▓.
рдкреНрд▓реЕрдирдордзреНрдпреЗ рдбреЗрдЯрд╛ рдЕреЕрдирд╛рд▓рд┐рд╕рд┐рд╕ рдЖрдгрд┐ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧрд╢реА рд╕рдВрдмрдВрдзрд┐рдд рдХреЛрдгрддреЗрд╣реА рд╡рд┐рд╖рдп рдирд╛рд╣реАрдд. рд╣реЗ рдбреЗрдЯрд╛ рд╕рд╛рдпрдВрдЯрд┐рд╕реНрдЯ рд╡реНрдпрд╡рд╕рд╛рдпрд╛рд▓рд╛ рдЕрдзрд┐рдХ рд▓рд╛рдЧреВ рд╣реЛрддреЗ. AWS рдврдЧ, Azure рд╢реА рд╕рдВрдмрдВрдзрд┐рдд рдХреЛрдгрддреЗрд╣реА рд╡рд┐рд╖рдп рдирд╛рд╣реАрдд. рдпрд╛ рдереАрдо рдкреНрд▓реЕрдЯрдлреЙрд░реНрдордЪреНрдпрд╛ рдирд┐рд╡рдбреАрд╡рд░ рдЬрд╛рд╕реНрдд рдЕрд╡рд▓рдВрдмреВрди рдЖрд╣реЗрдд.
рд╕рдорд╛рдЬрд╛рд▓рд╛ рдкреНрд░рд╢реНрди:
рдорд╛рдЭреА рд▓реЗрд╡реНрд╣рд▓рд┐рдВрдЧ рдпреЛрдЬрдирд╛ рдХрд┐рддреА рдкреБрд░реЗрд╢реА рдЖрд╣реЗ? рдХрд╛рдп рдХрд╛рдврд╛рдпрдЪреЗ рдХрд┐рдВрд╡рд╛ рдЬреЛрдбрд╛рдпрдЪреЗ?
рдереАрд╕рд┐рд╕ рдореНрд╣рдгреВрди рддреБрдореНрд╣реА рдХреЛрдгрддреНрдпрд╛ рдкреНрд░рдХрд▓реНрдкрд╛рдЪреА рд╢рд┐рдлрд╛рд░рд╕ рдХрд░рд╛рд▓?
рд╕реНрддреНрд░реЛрдд: www.habr.com