рд╣реЕрд▓реЛ рдкреБрдиреНрд╣рд╛! рд▓реЗрдЦрд╛рдЪреЗ рд╢реАрд░реНрд╖рдХ рд╕реНрд╡рддрдГрд╕рд╛рдареА рдмреЛрд▓рддреЗ. рдЕрднреНрдпрд╛рд╕рдХреНрд░рдо рд╕реБрд░реВ рд╣реЛрдгреНрдпрд╛рдЪреНрдпрд╛ рдЕрдкреЗрдХреНрд╖реЗрдиреЗ
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреА рд▓рд╣рд░ рдХрд╢реА рдкрдХрдбрд╛рдпрдЪреА рдЖрдгрд┐ рддреА рддреБрдореНрд╣рд╛рд▓рд╛ рд░рд╕рд╛рддрд│рд╛рд▓рд╛ рдЬрд╛рдК рджреЗрдК рдирдпреЗ рдпрд╛рд╡рд┐рд╖рдпреА рдПрдХ рд╕рд╛рдзреЗ рдорд╛рд░реНрдЧрджрд░реНрд╢рдХ.
рдЖрдЬрдХрд╛рд▓ рдкреНрд░рддреНрдпреЗрдХрд╛рд▓рд╛ рдбреЗрдЯрд╛ рд╕рд╛рдпрдВрдЯрд┐рд╕реНрдЯ рдмрдирд╛рдпрдЪреЗ рдЖрд╣реЗ рдЕрд╕реЗ рджрд┐рд╕рддреЗ. рдкрдг рдбреЗрдЯрд╛ рдЗрдВрдЬрд┐рдирд┐рдЕрд░рд┐рдВрдЧрдЪреЗ рдХрд╛рдп? рдореВрд▓рдд:, рд╣рд╛ рдбреЗрдЯрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдХ рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ рдпрд╛рдВрдЪрд╛ рдПрдХ рдкреНрд░рдХрд╛рд░рдЪрд╛ рд╕рдВрдХрд░ рдЖрд╣реЗ; рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рд╕рд╛рдорд╛рдиреНрдпрдд: рд╡рд░реНрдХрдлреНрд▓реЛ, рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдЖрдгрд┐ рдИрдЯреАрдПрд▓ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рд╡реНрдпрд╡рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдЬрдмрд╛рдмрджрд╛рд░ рдЕрд╕рддреЛ. рдпрд╛ рдлрдВрдХреНрд╢рдиреНрд╕рдЪреНрдпрд╛ рдорд╣рддреНрддреНрд╡рд╛рдореБрд│реЗ, рд╕рдзреНрдпрд╛ рд╣реА рдЖрдгрдЦреА рдПрдХ рд▓реЛрдХрдкреНрд░рд┐рдп рд╡реНрдпрд╛рд╡рд╕рд╛рдпрд┐рдХ рд╢рдмреНрджрд╛рд╡рд▓реА рдЖрд╣реЗ рдЬреА рд╕рдХреНрд░рд┐рдпрдкрдгреЗ рдЧрддреА рдорд┐рд│рд╡рдд рдЖрд╣реЗ.
рдЙрдЪреНрдЪ рдкрдЧрд╛рд░ рдЖрдгрд┐ рдкреНрд░рдЪрдВрдб рдорд╛рдЧрдгреА рдореНрд╣рдгрдЬреЗ рд╣реА рдиреЛрдХрд░реА рдЕрддреНрдпрдВрдд рдЖрдХрд░реНрд╖рдХ рдмрдирд╡рдгреНрдпрд╛рдЪрд╛ рдПрдХ рдЫреЛрдЯрд╛рд╕рд╛ рднрд╛рдЧ! рдЬрд░ рддреБрдореНрд╣рд╛рд▓рд╛ рдирд╛рдпрдХрд╛рдВрдЪреНрдпрд╛ рд╢реНрд░реЗрдгреАрдд рд╕рд╛рдореАрд▓ рд╡реНрд╣рд╛рдпрдЪреЗ рдЕрд╕реЗрд▓, рддрд░ рд╢рд┐рдХрдгреНрдпрд╛рд╕ рдХрдзреАрд╣реА рдЙрд╢реАрд░ рдЭрд╛рд▓реЗрд▓рд╛ рдирд╛рд╣реА. рдпрд╛ рдкреЛрд╕реНрдЯрдордзреНрдпреЗ, рдореА рддреБрдореНрд╣рд╛рд▓рд╛ рддреБрдордЪреА рдкрд╣рд┐рд▓реА рдкрд╛рд╡рд▓реЗ рдЙрдЪрд▓рдгреНрдпрд╛рдд рдорджрдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╕рд░реНрд╡ рдЖрд╡рд╢реНрдпрдХ рдорд╛рд╣рд┐рддреА рдЧреЛрд│рд╛ рдХреЗрд▓реА рдЖрд╣реЗ.
рддрд░, рдЪрд▓рд╛ рд╕реБрд░реВрд╡рд╛рдд рдХрд░реВрдпрд╛!
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреА рдореНрд╣рдгрдЬреЗ рдХрд╛рдп?
рдкреНрд░рд╛рдорд╛рдгрд┐рдХрдкрдгреЗ, рдпрд╛рдкреЗрдХреНрд╖рд╛ рдЪрд╛рдВрдЧрд▓реЗ рд╕реНрдкрд╖реНрдЯреАрдХрд░рдг рдирд╛рд╣реА:
тАЬрдПрдХ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ рдирд╡реАрди рддрд╛рд░рд╛ рд╢реЛрдзреВ рд╢рдХрддреЛ, рдкрд░рдВрддреБ рддреЛ рддрдпрд╛рд░ рдХрд░реВ рд╢рдХрдд рдирд╛рд╣реА. рддреНрдпрд╛рд▓рд╛ рддреНрдпрд╛рдЪреНрдпрд╛рд╕рд╛рдареА рдЕрднрд┐рдпрдВрддрд╛ рд╕рд╛рдВрдЧрд╛рд╡реЗ рд▓рд╛рдЧреЗрд▓."
- рдЧреЙрд░реНрдбрди рд▓рд┐рдВрдбрд╕реЗ рдЧреНрд▓реЗрдЧ
рдЕрд╢рд╛ рдкреНрд░рдХрд╛рд░реЗ, рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдЪреА рднреВрдорд┐рдХрд╛ рдЦреВрдк рдорд╣рддреНрд╡рд╛рдЪреА рдЖрд╣реЗ.
рдирд╛рд╡рд╛рдкреНрд░рдорд╛рдгреЗрдЪ, рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреА рдбреЗрдЯрд╛рд╢реА рд╕рдВрдмрдВрдзрд┐рдд рдЖрд╣реЗ, рдореНрд╣рдгрдЬреЗ рддреНрдпрд╛рдЪреЗ рд╡рд┐рддрд░рдг, рд╕рдВрдЪрдпрди рдЖрдгрд┐ рдкреНрд░рдХреНрд░рд┐рдпрд╛. рддреНрдпрд╛рдиреБрд╕рд╛рд░, рдЕрднрд┐рдпрдВрддреНрдпрд╛рдВрдЪреЗ рдореБрдЦреНрдп рдХрд╛рд░реНрдп рдбреЗрдЯрд╛рд╕рд╛рдареА рдПрдХ рд╡рд┐рд╢реНрд╡рд╛рд╕рд╛рд░реНрд╣ рдкрд╛рдпрд╛рднреВрдд рд╕реБрд╡рд┐рдзрд╛ рдкреНрд░рджрд╛рди рдХрд░рдгреЗ рдЖрд╣реЗ. рдЬрд░ рдЖрдкрдг рдПрдЖрдп рдкрджрд╛рдиреБрдХреНрд░рдорд╛рдЪреНрдпрд╛ рдЧрд░рдЬрд╛ рдкрд╛рд╣рд┐рд▓реНрдпрд╛ рддрд░, рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреА рдкрд╣рд┐рд▓реНрдпрд╛ 2-3 рдЯрдкреНрдкреЗ рд╡реНрдпрд╛рдкрддреЗ: рд╕рдВрдХрд▓рди, рд╣рд╛рд▓рдЪрд╛рд▓ рдЖрдгрд┐ рд╕реНрдЯреЛрд░реЗрдЬ, рдбреЗрдЯрд╛ рддрдпрд╛рд░ рдХрд░рдгреЗ.
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдХрд╛рдп рдХрд░рддреЛ?
рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛рдЪреНрдпрд╛ рдЖрдЧрдордирд╛рдиреЗ, рдЬрдмрд╛рдмрджрд╛рд░реАрдЪреА рд╡реНрдпрд╛рдкреНрддреА рдирд╛рдЯрдХреАрдпрд░рд┐рддреНрдпрд╛ рдмрджрд▓рд▓реА рдЖрд╣реЗ. рдЬрд░ рдкреВрд░реНрд╡реА рдпрд╛ рддрдЬреНрдЮрд╛рдВрдиреА рдореЛрдареНрдпрд╛ SQL рдХреНрд╡реЗрд░реА рд▓рд┐рд╣рд┐рд▓реНрдпрд╛ рдЖрдгрд┐ рдЗрдиреНрдлреЙрд░реНрдореЗрдЯрд┐рдХрд╛ ETL, Pentaho ETL, Talend рд╕рд╛рд░рдЦреНрдпрд╛ рд╕рд╛рдзрдирд╛рдВрдЪрд╛ рд╡рд╛рдкрд░ рдХрд░реВрди рдбреЗрдЯрд╛ рдбрд┐рд╕реНрдЯрд┐рд▓реНрдб рдХреЗрд▓рд╛, рддрд░ рдЖрддрд╛ рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддреНрдпрд╛рдВрдЪреНрдпрд╛ рдЧрд░рдЬрд╛ рд╡рд╛рдврд▓реНрдпрд╛ рдЖрд╣реЗрдд.
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдкрджрд╛рд╕рд╛рдареА рд░рд┐рдХреНрдд рдЬрд╛рдЧрд╛ рдЕрд╕рд▓реЗрд▓реНрдпрд╛ рдмрд╣реБрддреЗрдХ рдХрдВрдкрдиреНрдпрд╛рдВрдирд╛ рдЦрд╛рд▓реАрд▓ рдЖрд╡рд╢реНрдпрдХрддрд╛ рдЖрд╣реЗрдд:
- SQL рдЖрдгрд┐ Python рдЪреЗ рдЙрддреНрдХреГрд╖реНрдЯ рдЬреНрдЮрд╛рди.
- рдХреНрд▓рд╛рдЙрдб рдкреНрд▓реЕрдЯрдлреЙрд░реНрдо, рд╡рд┐рд╢реЗрд╖рддрдГ Amazon рд╡реЗрдм рд╕реЗрд╡рд╛рдВрдЪрд╛ рдЕрдиреБрднрд╡ рдШреНрдпрд╛.
- Java/Scala рдЪреНрдпрд╛ рдЬреНрдЮрд╛рдирд╛рд▓рд╛ рдкреНрд░рд╛рдзрд╛рдиреНрдп.
- SQL рдЖрдгрд┐ NoSQL рдбреЗрдЯрд╛рдмреЗрд╕рдЪреА рдЪрд╛рдВрдЧрд▓реА рд╕рдордЬ (рдбреЗрдЯрд╛ рдореЙрдбреЗрд▓рд┐рдВрдЧ, рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдЙрд╕рд┐рдВрдЧ).
рд▓рдХреНрд╖рд╛рдд рдареЗрд╡рд╛, рдпрд╛ рдлрдХреНрдд рдЖрд╡рд╢реНрдпрдХ рдЧреЛрд╖реНрдЯреА рдЖрд╣реЗрдд. рдпрд╛ рд╕реВрдЪреАрд╡рд░реВрди, рдЕрд╕реЗ рдЧреГрд╣реАрдд рдзрд░рд▓реЗ рдЬрд╛рдК рд╢рдХрддреЗ рдХреА рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддреЗ рд╕реЙрдлреНрдЯрд╡реЗрдЕрд░ рд╡рд┐рдХрд╛рд╕ рдЖрдгрд┐ рдмреЕрдХрдПрдВрдб рдХреНрд╖реЗрддреНрд░рд╛рддреАрд▓ рд╡рд┐рд╢реЗрд╖рдЬреНрдЮ рдЖрд╣реЗрдд.
рдЙрджрд╛рд╣рд░рдгрд╛рд░реНрде, рдЬрд░ рдПрдЦрд╛рджреА рдХрдВрдкрдиреА рд╡рд┐рд╡рд┐рдз рд╕реНрддреНрд░реЛрддрд╛рдВрдХрдбреВрди рдореЛрдареНрдпрд╛ рдкреНрд░рдорд╛рдгрд╛рдд рдбреЗрдЯрд╛ рддрдпрд╛рд░ рдХрд░реВ рд▓рд╛рдЧрд▓реА, рддрд░ рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдореНрд╣рдгреВрди рдЖрдкрд▓реЗ рдХрд╛рд░реНрдп рдорд╛рд╣рд┐рддреАрдЪреЗ рд╕рдВрдХрд▓рди, рддреНрдпрд╛рдЪреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдЖрдгрд┐ рд╕рдВрдЪрдпрди рдЖрдпреЛрдЬрд┐рдд рдХрд░рдгреЗ рдЖрд╣реЗ.
рдпрд╛ рдкреНрд░рдХрд░рдгрд╛рдд рд╡рд╛рдкрд░рд▓реНрдпрд╛ рдЬрд╛рдгрд╛рд░реНтАНрдпрд╛ рд╕рд╛рдзрдирд╛рдВрдЪреА рдпрд╛рджреА рднрд┐рдиреНрди рдЕрд╕реВ рд╢рдХрддреЗ, рд╣реЗ рд╕рд░реНрд╡ рдпрд╛ рдбреЗрдЯрд╛рдЪреНрдпрд╛ рд╡реНрд╣реЙрд▓реНрдпреВрдорд╡рд░, рддреНрдпрд╛рдЪреНрдпрд╛ рдкрд╛рд╡рддреАрдЪреА рдЧрддреА рдЖрдгрд┐ рднрд┐рдиреНрдирддрд╛ рдпрд╛рд╡рд░ рдЕрд╡рд▓рдВрдмреВрди рдЕрд╕рддреЗ. рдмрд░реНтАНрдпрд╛рдЪ рдХрдВрдкрдиреНрдпрд╛ рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛рд╢реА рдЕрдЬрд┐рдмрд╛рдд рд╡реНрдпрд╡рд╣рд╛рд░ рдХрд░рдд рдирд╛рд╣реАрдд, рдореНрд╣рдгреВрди рдХреЗрдВрджреНрд░реАрдХреГрдд рднрд╛рдВрдбрд╛рд░, рддрдерд╛рдХрдерд┐рдд рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕ рдореНрд╣рдгреВрди, рддреБрдореНрд╣реА рдбреЗрдЯрд╛ рдлреАрдб рдХрд░рдгрд╛рд░реНтАНрдпрд╛ рд╕реНрдХреНрд░рд┐рдкреНрдЯрдЪреНрдпрд╛ рдЫреЛрдЯреНрдпрд╛ рд╕рдВрдЪрд╛рд╕рд╣ SQL рдбреЗрдЯрд╛рдмреЗрд╕ (PostgreSQL, MySQL, рдЗ.) рд╡рд╛рдкрд░реВ рд╢рдХрддрд╛. рдХреЛрдард╛рд░
Google, Amazon, Facebook рдХрд┐рдВрд╡рд╛ Dropbox рд╕рд╛рд░рдЦреНрдпрд╛ IT рджрд┐рдЧреНрдЧрдЬрд╛рдВрдирд╛ рдЙрдЪреНрдЪ рдЖрд╡рд╢реНрдпрдХрддрд╛ рдЖрд╣реЗрдд: Python, Java рдХрд┐рдВрд╡рд╛ Scala рдЪреЗ рдЬреНрдЮрд╛рди.
- рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛рд╕рд╣ рдЕрдиреБрднрд╡: рд╣рдбреВрдк, рд╕реНрдкрд╛рд░реНрдХ, рдХрд╛рдлреНрдХрд╛.
- рдЕрд▓реНрдЧреЛрд░рд┐рджрдо рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрд╕рдЪреЗ рдЬреНрдЮрд╛рди.
- рд╡рд┐рддрд░рд┐рдд рдкреНрд░рдгрд╛рд▓реАрдЪреНрдпрд╛ рдореВрд▓рднреВрдд рдЧреЛрд╖реНрдЯреА рд╕рдордЬреВрди рдШреЗрдгреЗ.
- рдбреЗрдЯрд╛ рд╡реНрд╣рд┐рдЬреНрдпреБрдЕрд▓рд╛рдпрдЭреЗрд╢рди рдЯреВрд▓реНрд╕рдЪрд╛ рдЕрдиреБрднрд╡ рдЬрд╕реЗ рдХреА рдЯреЗрдмрд▓рд╛рдУ рдХрд┐рдВрд╡рд╛ рдЗрд▓рд╛рд╕реНрдЯрд┐рдХрд╕рд░реНрдЪ рдПрдХ рдкреНрд▓рд╕ рдЕрд╕реЗрд▓.
рдореНрд╣рдгрдЬреЗрдЪ, рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛рдХрдбреЗ рдПрдХ рд╕реНрдкрд╖реНрдЯ рд╢рд┐рдлреНрдЯ рдЖрд╣реЗ, рдореНрд╣рдгрдЬреЗ рдЙрдЪреНрдЪ рднрд╛рд░рд╛рдВрдЦрд╛рд▓реА рддреНрдпрд╛рдЪреНрдпрд╛ рдкреНрд░рдХреНрд░рд┐рдпреЗрдд. рдпрд╛ рдХрдВрдкрдиреНрдпрд╛рдВрдиреА рд╕рд┐рд╕реНрдЯрдо рдлреЙрд▓реНрдЯ рдЯреЙрд▓рд░рдиреНрд╕рд╕рд╛рдареА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╡рд╛рдврд╡рд▓реА рдЖрд╣реЗ.
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рд╡рд┐. рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ
рдареАрдХ рдЖрд╣реЗ, рд╣реА рдПрдХ рд╕рд╛рдзреА рдЖрдгрд┐ рдордЬреЗрджрд╛рд░ рддреБрд▓рдирд╛ рд╣реЛрддреА (рд╡реИрдпрдХреНрддрд┐рдХ рдХрд╛рд╣реАрд╣реА рдирд╛рд╣реА), рдкрд░рдВрддреБ рдкреНрд░рддреНрдпрдХреНрд╖рд╛рдд рддреЗ рдЕрдзрд┐рдХ рдХреНрд▓рд┐рд╖реНрдЯ рдЖрд╣реЗ.
рдкреНрд░рдердо, рддреБрдореНрд╣рд╛рд▓рд╛ рд╣реЗ рдорд╛рд╣рд┐рдд рдЕрд╕рд▓реЗ рдкрд╛рд╣рд┐рдЬреЗ рдХреА рдбреЗрдЯрд╛ рд╢рд╛рд╕реНрддреНрд░рдЬреНрдЮ рдЖрдгрд┐ рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдпрд╛рдВрдЪреНрдпрд╛ рднреВрдорд┐рдХрд╛ рдЖрдгрд┐ рдХреМрд╢рд▓реНрдпрд╛рдВрдЪреНрдпрд╛ рд╡рд░реНрдгрдирд╛рдордзреНрдпреЗ рдмрд░реАрдЪ рд╕рдВрджрд┐рдЧреНрдзрддрд╛ рдЖрд╣реЗ. рдореНрд╣рдгрдЬреЗрдЪ, рдпрд╢рд╕реНрд╡реА рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рд╣реЛрдгреНрдпрд╛рд╕рд╛рдареА рдХреЛрдгрддреА рдХреМрд╢рд▓реНрдпреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗрдд рдпрд╛рдмрджреНрджрд▓ рддреБрдореНрд╣реА рд╕рд╣рдЬрдкрдгреЗ рдЧреЛрдВрдзрд│реВрди рдЬрд╛рдК рд╢рдХрддрд╛. рдЕрд░реНрдерд╛рдд, рдЕрд╢реА рдХрд╛рд╣реА рдХреМрд╢рд▓реНрдпреЗ рдЖрд╣реЗрдд рдЬреА рджреЛрдиреНрд╣реА рднреВрдорд┐рдХрд╛рдВрдирд╛ рдУрд╡реНрд╣рд░рд▓реЕрдк рдХрд░рддрд╛рдд. рдкрд░рдВрддреБ рддреЗрдереЗ рдЕрдиреЗрдХ рднрд┐рдиреНрди рдХреМрд╢рд▓реНрдпреЗ рджреЗрдЦреАрд▓ рдЖрд╣реЗрдд.
рдбреЗрдЯрд╛ рд╕рд╛рдпрдиреНрд╕ рд╣рд╛ рдЧрдВрднреАрд░ рд╡реНрдпрд╡рд╕рд╛рдп рдЖрд╣реЗ, рдкрд░рдВрддреБ рдЖрдореНрд╣реА рдХрд╛рд░реНрдпрд╛рддреНрдордХ рдбреЗрдЯрд╛ рд╡рд┐рдЬреНрдЮрд╛рдирд╛рдЪреНрдпрд╛ рдЬрдЧрд╛рдХрдбреЗ рд╡рд╛рдЯрдЪрд╛рд▓ рдХрд░рдд рдЖрд╣реЛрдд рдЬрд┐рдереЗ рдЕрднреНрдпрд╛рд╕рдХ рддреНрдпрд╛рдВрдЪреЗ рд╕реНрд╡рддрдГрдЪреЗ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░реВ рд╢рдХрддрд╛рдд. рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдЖрдгрд┐ рдПрдХрд╛рддреНрдорд┐рдХ рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрд╕ рд╕рдХреНрд╖рдо рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА, рддреБрдореНрд╣рд╛рд▓рд╛ рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗрдд, рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХрд╛рдВрдЪреА рдирд╛рд╣реА.
рдбреЗрдЯрд╛ рд╕рд╛рдпрдВрдЯрд┐рд╕реНрдЯрдкреЗрдХреНрд╖рд╛ рдбреЗрдЯрд╛ рдЗрдВрдЬрд┐рдирд┐рдЕрд░рд▓рд╛ рдЬрд╛рд╕реНрдд рдорд╛рдЧрдгреА рдЖрд╣реЗ рдХрд╛?
- рд╣реЛрдп, рдХрд╛рд░рдг рдЖрдкрдг рдЧрд╛рдЬрд░ рдХреЗрдХ рдмрдирд╡рдгреНрдпрд╛рдкреВрд░реНрд╡реА, рдЖрдкрд▓реНрдпрд╛рд▓рд╛ рдкреНрд░рдердо рдЧрд╛рдЬрд░ рдЧреЛрд│рд╛ рдХрд░рдгреЗ, рд╕реЛрд▓рдгреЗ рдЖрдгрд┐ рд╕реНрдЯреЙрдХ рдХрд░рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ!
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдХреЛрдгрддреНрдпрд╛рд╣реА рдбреЗрдЯрд╛ рд╕рд╛рдпрдВрдЯрд┐рд╕реНрдЯрдкреЗрдХреНрд╖рд╛ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рдЪрд╛рдВрдЧрд▓реЗ рд╕рдордЬрддреЛ, рдкрд░рдВрддреБ рдЬреЗрд╡реНрд╣рд╛ рдЖрдХрдбреЗрд╡рд╛рд░реАрдЪрд╛ рд╡рд┐рдЪрд╛рд░ рдХреЗрд▓рд╛ рдЬрд╛рддреЛ рддреЗрд╡реНрд╣рд╛ рдЙрд▓рдЯ рд╕рддреНрдп рдЕрд╕рддреЗ.
рдкрд░рдВрддреБ рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛рдЪрд╛ рдлрд╛рдпрджрд╛ рдпреЗрдереЗ рдЖрд╣реЗ:
рддреНрдпрд╛рдЪреНрдпрд╛/рддрд┐рдЪреНрдпрд╛рд╢рд┐рд╡рд╛рдп, рдкреНрд░реЛрдЯреЛрдЯрд╛рдЗрдк рдореЙрдбреЗрд▓рдЪреЗ рдореВрд▓реНрдп, рдЬреНрдпрд╛рдордзреНрдпреЗ рдмрд╣реБрддреЗрдХ рд╡реЗрд│рд╛ рдкрд╛рдпрдерди рдлрд╛рдЗрд▓рдордзреАрд▓ рднрдпрдВрдХрд░ рдЧреБрдгрд╡рддреНрддреЗрдЪреНрдпрд╛ рдХреЛрдбрдЪрд╛ рддреБрдХрдбрд╛ рдЕрд╕рддреЛ, рдбреЗрдЯрд╛ рд╕рд╛рдпрдВрдЯрд┐рд╕реНрдЯрдХрдбреВрди рдорд┐рд│рд╡рд▓реЗрд▓рд╛ рдЖрдгрд┐ рдХрд╕рд╛ рддрд░реА рдкрд░рд┐рдгрд╛рдо рдирд┐рд░реНрдорд╛рдг рдХрд░рддреЛ, рд╢реВрдиреНрдпрд╛рдХрдбреЗ рдЭреБрдХрддреЛ.
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рд╢рд┐рд╡рд╛рдп, рд╣рд╛ рдХреЛрдб рдХрдзреАрд╣реА рдкреНрд░рдХрд▓реНрдк рдмрдирдгрд╛рд░ рдирд╛рд╣реА рдЖрдгрд┐ рдХреЛрдгрддреАрд╣реА рд╡реНрдпрд╛рд╡рд╕рд╛рдпрд┐рдХ рд╕рдорд╕реНрдпрд╛ рдкреНрд░рднрд╛рд╡реАрдкрдгреЗ рд╕реЛрдбрд╡рд▓реА рдЬрд╛рдгрд╛рд░ рдирд╛рд╣реА. рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рд╣реЗ рд╕рд░реНрд╡ рдЙрддреНрдкрд╛рджрдирд╛рдд рдмрджрд▓рдгреНрдпрд╛рдЪрд╛ рдкреНрд░рдпрддреНрди рдХрд░реАрдд рдЖрд╣реЗ.
рдореВрд▓рднреВрдд рдорд╛рд╣рд┐рддреА рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддреНрдпрд╛рд▓рд╛ рдорд╛рд╣рд┐рдд рдЕрд╕рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ
рддреНрдпрд╛рдореБрд│реЗ, рдЬрд░ рд╣реА рдиреЛрдХрд░реА рддреБрдордЪреНрдпрд╛рдд рдкреНрд░рдХрд╛рд╢ рдЖрдгрдд рдЕрд╕реЗрд▓ рдЖрдгрд┐ рддреБрдореНрд╣реА рдЙрддреНрд╕рд╛рд╣реА рдЕрд╕рд╛рд▓ - рддреБрдореНрд╣реА рддреЗ рд╢рд┐рдХреВ рд╢рдХрддрд╛, рддреБрдореНрд╣реА рд╕рд░реНрд╡ рдЖрд╡рд╢реНрдпрдХ рдХреМрд╢рд▓реНрдпрд╛рдВрдордзреНрдпреЗ рдкреНрд░рднреБрддреНрд╡ рдорд┐рд│рд╡реВ рд╢рдХрддрд╛ рдЖрдгрд┐ рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреАрдЪреНрдпрд╛ рдХреНрд╖реЗрддреНрд░рд╛рдд рдПрдХ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд░реЙрдХ рд╕реНрдЯрд╛рд░ рдмрдиреВ рд╢рдХрддрд╛. рдЖрдгрд┐, рд╣реЛрдп, рддреБрдореНрд╣реА рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рдХреМрд╢рд▓реНрдпреЗ рдХрд┐рдВрд╡рд╛ рдЗрддрд░ рддрд╛рдВрддреНрд░рд┐рдХ рдЬреНрдЮрд╛рдирд╛рд╢рд┐рд╡рд╛рдп рджреЗрдЦреАрд▓ рд╣реЗ рдмрдВрдж рдХрд░реВ рд╢рдХрддрд╛. рд╣реЗ рдЕрд╡рдШрдб рдЖрд╣реЗ, рдкрдг рд╢рдХреНрдп рдЖрд╣реЗ!
рдкрд╣рд┐рд▓реА рдкрд╛рдпрд░реА рдХреЛрдгрддреА?
рддреБрдореНрд╣рд╛рд▓рд╛ рдХрд╛рдп рдЖрд╣реЗ рдпрд╛рдЪреА рд╕рд╛рдорд╛рдиреНрдп рдХрд▓реНрдкрдирд╛ рдЕрд╕рд▓реА рдкрд╛рд╣рд┐рдЬреЗ.
рд╕рд░реНрд╡ рдкреНрд░рдердо, рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреА рд╕рдВрдЧрдгрдХ рд╡рд┐рдЬреНрдЮрд╛рдирд╛рдЪрд╛ рд╕рдВрджрд░реНрдн рджреЗрддреЗ. рдЕрдзрд┐рдХ рд╡рд┐рд╢реЗрд╖рддрдГ, рдЖрдкрдг рдХрд╛рд░реНрдпрдХреНрд╖рдо рдЕрд▓реНрдЧреЛрд░рд┐рджрдо рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╕рдВрд░рдЪрдирд╛ рд╕рдордЬреВрди рдШреЗрдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ. рджреБрд╕рд░реЗ рдореНрд╣рдгрдЬреЗ, рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддреЗ рдбреЗрдЯрд╛рд╕рд╣ рдХрд╛рд░реНрдп рдХрд░рдд рдЕрд╕рд▓реНрдпрд╛рдиреЗ, рдбреЗрдЯрд╛рдмреЗрд╕рдЪреА рддрддреНрддреНрд╡реЗ рдЖрдгрд┐ рддреНрдпрд╛рдВрдЪреНрдпрд╛ рдЕрдВрддрд░реНрдЧрдд рдЕрд╕рд▓реЗрд▓реНрдпрд╛ рд╕рдВрд░рдЪрдирд╛ рд╕рдордЬреВрди рдШреЗрдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ.
рдЙрджрд╛рд╣рд░рдгрд╛рд░реНрде, рдкрд╛рд░рдВрдкрд╛рд░рд┐рдХ рдмреА-рдЯреНрд░реА рдПрд╕рдХреНрдпреВрдПрд▓ рдбреЗрдЯрд╛рдмреЗрд╕ рд╣реЗ рдмреА-рдЯреНрд░реА рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░, рддрд╕реЗрдЪ рдЖрдзреБрдирд┐рдХ рд╡рд┐рддрд░реАрдд рд░реЗрдкреЙрдЬрд┐рдЯрд░реАрдЬ, рдПрд▓рдПрд╕рдПрдо-рдЯреНрд░реА рдЖрдгрд┐ рд╣реЕрд╢ рдЯреЗрдмрд▓рдЪреНрдпрд╛ рдЗрддрд░ рдмрджрд▓рд╛рдВрд╡рд░ рдЖрдзрд╛рд░рд┐рдд рдЕрд╕рддрд╛рдд.
*рдпрд╛ рдкрд╛рдпрд▒реНрдпрд╛ рдПрдХрд╛ рдЙрддреНрддрдо рд▓реЗрдЦрд╛рд╡рд░ рдЖрдзрд╛рд░рд┐рдд рдЖрд╣реЗрдд
1. рдЕрд▓реНрдЧреЛрд░рд┐рджрдо рдЖрдгрд┐ рдбреЗрдЯрд╛ рд╕рдВрд░рдЪрдирд╛
рдпреЛрдЧреНрдп рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░ рд╡рд╛рдкрд░рд▓реНрдпрд╛рдиреЗ рдЕрд▓реНрдЧреЛрд░рд┐рджрдордЪреА рдХрд╛рд░реНрдпрдХреНрд╖рдорддрд╛ рд▓рдХреНрд╖рдгреАрдпрд░реАрддреНрдпрд╛ рд╕реБрдзрд╛рд░реВ рд╢рдХрддреЗ. рддрджреНрд╡рддрдЪ, рдЖрдкрдг рд╕рд░реНрд╡рд╛рдВрдиреА рдЖрдкрд▓реНрдпрд╛ рд╢рд╛рд│рд╛рдВрдордзреНрдпреЗ рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрд╕ рдЖрдгрд┐ рдЕрд▓реНрдЧреЛрд░рд┐рджрдордмрджреНрджрд▓ рд╢рд┐рдХрд▓реЗ рдкрд╛рд╣рд┐рдЬреЗ, рдкрд░рдВрддреБ рд╣реЗ рдХреНрд╡рдЪрд┐рддрдЪ рдХрд╡реНрд╣рд░ рдХреЗрд▓реЗ рдЬрд╛рддреЗ. рдХреЛрдгрддреНрдпрд╛рд╣реА рдкрд░рд┐рд╕реНрдерд┐рддреАрдд, рдкрд░рд┐рдЪрд┐рдд рд╣реЛрдгреНрдпрд╛рд╕рд╛рдареА рдХрдзреАрд╣реА рдЙрд╢реАрд░ рдЭрд╛рд▓реЗрд▓рд╛ рдирд╛рд╣реА.
рддреНрдпрд╛рдореБрд│реЗ рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрд╕ рдЖрдгрд┐ рдЕрд▓реНрдЧреЛрд░рд┐рджрдо рд╢рд┐рдХрдгреНрдпрд╛рд╕рд╛рдареА рдорд╛рдЭреЗ рдЖрд╡рдбрддреЗ рд╡рд┐рдирд╛рдореВрд▓реНрдп рдХреЛрд░реНрд╕ рдпреЗрдереЗ рдЖрд╣реЗрдд:
рд╕рд╛рдзреНрдпрд╛ рддреЗ рдЬрдЯрд┐рд▓ рдкрд░реНрдпрдВрдд: рдбреЗрдЯрд╛ рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрд╕ (Udemy) рдЕрд▓реНрдЧреЛрд░рд┐рджрдо, рднрд╛рдЧ I (рдХреЛрд░реНрд╕реЗрд░рд╛) рдЕрд▓реНрдЧреЛрд░рд┐рджрдо, рднрд╛рдЧ II (рдХреЛрд░реНрд╕реЗрд░рд╛)
рддрд╕реЗрдЪ рдЕрд▓реНрдЧреЛрд░рд┐рджрдорд╡рд░реАрд▓ рдереЙрдорд╕ рдХреЙрд░реНрдордирдЪреНрдпрд╛ рдЙрддреНрдХреГрд╖реНрдЯ рдХрд╛рд░реНрдпрд╛рдмрджреНрджрд▓ рд╡рд┐рд╕рд░реВ рдирдХрд╛ -
- рддреБрдордЪреА рдХреМрд╢рд▓реНрдпреЗ рд╕реБрдзрд╛рд░рдгреНрдпрд╛рд╕рд╛рдареА, рд╡рд╛рдкрд░рд╛
рд▓реАрдЯрдХреЛрдб .
рддреБрдореНрд╣реА рдпреВрдЯреНрдпреВрдмрд╡рд░ рдХрд╛рд░реНрдиреЗрдЧреА рдореЗрд▓реЙрди рдпреБрдирд┐рд╡реНрд╣рд░реНрд╕рд┐рдЯреАрдЪреНрдпрд╛ рдЖрд╢реНрдЪрд░реНрдпрдХрд╛рд░рдХ рд╡реНрд╣рд┐рдбрд┐рдУрдВрд╕рд╣ рдбреЗрдЯрд╛рдмреЗрд╕рдЪреНрдпрд╛ рдЬрдЧрд╛рдд рджреЗрдЦреАрд▓ рдЬрд╛рдК рд╢рдХрддрд╛:
рдбреЗрдЯрд╛рдмреЗрд╕ рд╕рд┐рд╕реНрдЯрдордЪрд╛ рдкрд░рд┐рдЪрдп .рдкреНрд░рдЧрдд рдбреЗрдЯрд╛рдмреЗрд╕ рдкреНрд░рдгрд╛рд▓реА .
2. SQL рд╢рд┐рдХрд╛
рдЖрдкрд▓реЗ рд╕рдВрдкреВрд░реНрдг рдЬреАрд╡рди рдбреЗрдЯрд╛ рдЖрд╣реЗ. рдЖрдгрд┐ рдбреЗрдЯрд╛рдмреЗрд╕рдордзреВрди рд╣рд╛ рдбреЗрдЯрд╛ рдХрд╛рдврдгреНрдпрд╛рд╕рд╛рдареА, рддреБрдореНрд╣рд╛рд▓рд╛ рддреАрдЪ рднрд╛рд╖рд╛ "рдмреЛрд▓рдгреЗ" рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ.
SQL (рд╕реНрдЯреНрд░рдХреНрдЪрд░реНрдб рдХреНрд╡реЗрд░реА рд▓рдБрдЧреНрд╡реЗрдЬ) рд╣реА рдбреЗрдЯрд╛ рдбреЛрдореЗрдирдордзреАрд▓ рд╕рдВрд╡рд╛рджрд╛рдЪреА рднрд╛рд╖рд╛ рдЖрд╣реЗ. рдХреЛрдгреА рдХрд╛рдп рдореНрд╣рдгрддреЛ рдпрд╛рдЪреА рдкрд░реНрд╡рд╛ рди рдХрд░рддрд╛, SQL рдЬрдЧрд▓рд╛ рдЖрд╣реЗ, рдЬрд┐рд╡рдВрдд рдЖрд╣реЗ рдЖрдгрд┐ рдЦреВрдк рдХрд╛рд│ рдЬрдЧреЗрд▓.
рддреБрдореНтАНрд╣реА рдкреНрд░рджреАрд░реНрдШ рдХрд╛рд│рд╛рдкрд╛рд╕реВрди рд╡рд┐рдХрд╛рд╕рд╛рдд рдЕрд╕рд▓реНтАНрдпрд╛рд╕, рддреБрдореНтАНрд╣рд╛рд▓рд╛ рдХрджрд╛рдЪрд┐рдд рд▓рдХреНрд╖рд╛рдд рдЖрд▓реЗ рдЕрд╕реЗрд▓ рдХреА рдПрд╕рдХреНрдпреВрдПрд▓рдЪреНтАНрдпрд╛ рдореГрддреНрдпреВрдмрджреНрджрд▓рдЪреНрдпрд╛ рдЕрдлрд╡рд╛ рдЕрдзреВрдирдордзреВрди рдкреЙрдк рдЕрдк рд╣реЛрдд рдЖрд╣реЗрдд. рд╣реА рднрд╛рд╖рд╛ 70 рдЪреНрдпрд╛ рджрд╢рдХрд╛рдЪреНрдпрд╛ рд╕реБрд░реБрд╡рд╛рддреАрд╕ рд╡рд┐рдХрд╕рд┐рдд рдЭрд╛рд▓реА рд╣реЛрддреА рдЖрдгрд┐ рдЕрдЬреВрдирд╣реА рд╡рд┐рд╢реНрд▓реЗрд╖рдХ, рд╡рд┐рдХрд╕рдХ рдЖрдгрд┐ рдлрдХреНрдд рдЙрддреНрд╕рд╛рд╣реА рд▓реЛрдХрд╛рдВрдордзреНрдпреЗ рддреА рдЦреВрдк рд▓реЛрдХрдкреНрд░рд┐рдп рдЖрд╣реЗ.
SQL рдЪреНрдпрд╛ рдЬреНрдЮрд╛рдирд╛рд╢рд┐рд╡рд╛рдп рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреАрдордзреНрдпреЗ рдХрд╛рд╣реАрд╣реА рдХрд░рд╛рдпрдЪреЗ рдирд╛рд╣реА рдХрд╛рд░рдг рдбреЗрдЯрд╛ рдкреБрдирд░реНрдкреНрд░рд╛рдкреНрдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рддреБрдореНрд╣рд╛рд▓рд╛ рдЕрдкрд░рд┐рд╣рд╛рд░реНрдпрдкрдгреЗ рдХреНрд╡реЗрд░реА рддрдпрд╛рд░ рдХрд░рд╛рд╡реА рд▓рд╛рдЧрддреАрд▓. рд╕рд░реНрд╡ рдЖрдзреБрдирд┐рдХ рдореЛрдареЗ рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕ SQL тАЛтАЛрдЪреЗ рд╕рдорд░реНрдерди рдХрд░рддрд╛рдд:
- рдЕтАНреЕрдореЗрдЭреЙрди рд░реЗрдбрд╢рд┐рдлреНрдЯ
- рдПрдЪрдкреА рд╡реНрд╣рд░реНрдЯреАрдХрд╛
- рдУрд░реЕрдХрд▓
- SQL рд╕рд░реНрд╡реНрд╣рд░
... рдЖрдгрд┐ рдЗрддрд░ рдЕрдиреЗрдХ.
HDFS рд╕рд╛рд░рдЦреНрдпрд╛ рд╡рд┐рддрд░реАрдд рдкреНрд░рдгрд╛рд▓реАрдВрдордзреНрдпреЗ рд╕рдВрдЪрдпрд┐рдд рдХреЗрд▓реЗрд▓реНрдпрд╛ рдбреЗрдЯрд╛рдЪреНрдпрд╛ рдореЛрдареНрдпрд╛ рд╕реНрддрд░рд╛рдЪреЗ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА, SQL рдЗрдВрдЬрд┐рдирдЪрд╛ рд╢реЛрдз рд▓рд╛рд╡рд▓рд╛ рдЧреЗрд▓рд╛: Apache Hive, Impala, рдЗ. рдкрд╣рд╛, рддреЗ рдХреБрдареЗрд╣реА рдЬрд╛рдд рдирд╛рд╣реА.
рдПрд╕рдХреНрдпреВрдПрд▓ рдХрд╕реЗ рд╢рд┐рдХрд╛рдпрдЪреЗ? рдлрдХреНрдд рд╕рд░рд╛рд╡ рдордзреНрдпреЗ рдХрд░рд╛.
рд╣реЗ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА, рдореА рдПрдХ рдЙрддреНрдХреГрд╖реНрдЯ рдЯреНрдпреВрдЯреЛрд░рд┐рдпрд▓ рддрдкрд╛рд╕рдгреНрдпрд╛рдЪреА рд╢рд┐рдлрд╛рд░рд╕ рдХрд░рддреЛ, рдЬреЗ, рдорд╛рд░реНрдЧрд╛рдиреЗ, рд╡рд┐рдирд╛рдореВрд▓реНрдп рдЖрд╣реЗ
рдЗрдВрдЯрд░рдореАрдбрд┐рдПрдЯ рдПрд╕рдХреНрдпреВрдПрд▓ SQL рдордзреНрдпреЗ рдбреЗрдЯрд╛ рд╕рд╛рдореАрд▓ рд╣реЛрдд рдЖрд╣реЗ
рдпрд╛ рдЕрднреНрдпрд╛рд╕рдХреНрд░рдорд╛рдВрдирд╛ рд╡рд┐рд╢реЗрд╖ рдХрд╛рдп рдмрдирд╡рддреЗ рддреЗ рдореНрд╣рдгрдЬреЗ рддреНрдпрд╛рдВрдЪреНрдпрд╛рдд рдкрд░рд╕реНрдкрд░рд╕рдВрд╡рд╛рджреА рд╡рд╛рддрд╛рд╡рд░рдг рдЖрд╣реЗ рдЬреЗрдереЗ рддреБрдореНрд╣реА рддреБрдордЪреНрдпрд╛ рдмреНрд░рд╛рдЙрдЭрд░рдордзреНрдпреЗ SQL рдХреНрд╡реЗрд░реА рд▓рд┐рд╣реВ рдЖрдгрд┐ рдЪрд╛рд▓рд╡реВ рд╢рдХрддрд╛. рд╕рдВрд╕рд╛рдзрди
3. рдкрд╛рдпрдерди рдЖрдгрд┐ Java/Scala рдордзреНрдпреЗ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ
рдЖрдкрдг рдкрд╛рдпрдерди рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рднрд╛рд╖рд╛ рдХрд╛ рд╢рд┐рдХрд▓реА рдкрд╛рд╣рд┐рдЬреЗ, рдореА рд▓реЗрдЦрд╛рдд рдЖрдзреАрдЪ рд▓рд┐рд╣рд┐рд▓реЗ рдЖрд╣реЗ
- рдЕрдкрд╛рдЪреЗ рдХрд╛рдлреНрдХрд╛ (рд╕реНрдХрд╛рд▓рд╛)
- рд╣рдбреВрдк, рдПрдЪрдбреАрдПрдлрдПрд╕ (рдЬрд╛рд╡рд╛)
- рдЕрдкрд╛рдЪреЗ рд╕реНрдкрд╛рд░реНрдХ (рд╕реНрдХрд╛рд▓рд╛)
- рдЕрдкрд╛рдЪреЗ рдХреЕрд╕реЕрдиреНрдбреНрд░рд╛ (рдЬрд╛рд╡рд╛)
- HBase (Java)
- рдЕрдкрд╛рдЪреЗ рдкреЛрд│реЗ (рдЬрд╛рд╡рд╛)
рд╣реА рд╕рд╛рдзрдиреЗ рдХрд╢реА рдХрд╛рд░реНрдп рдХрд░рддрд╛рдд рд╣реЗ рд╕рдордЬреВрди рдШреЗрдгреНрдпрд╛рд╕рд╛рдареА, рдЖрдкрд▓реНрдпрд╛рд▓рд╛ рддреЗ рдЬреНрдпрд╛ рднрд╛рд╖рд╛рдВрдордзреНрдпреЗ рд▓рд┐рд╣рд┐рд▓реЗрд▓реЗ рдЖрд╣реЗрдд рддреЗ рдорд╛рд╣рд┐рдд рдЕрд╕рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ. рд╕реНрдХрд╛рд▓рд╛рдЪрд╛ рдХрд╛рд░реНрдпрд╛рддреНрдордХ рджреГрд╖реНрдЯреАрдХреЛрди рддреБрдореНрд╣рд╛рд▓рд╛ рд╕рдорд╛рдВрддрд░ рдбреЗрдЯрд╛ рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рд╕рдорд╕реНрдпрд╛ рдкреНрд░рднрд╛рд╡реАрдкрдгреЗ рд╕реЛрдбрд╡рд┐рдгреНрдпрд╛рд╕ рдЕрдиреБрдорддреА рджреЗрддреЛ. рдкрд╛рдпрдерди, рджреБрд░реНрджреИрд╡рд╛рдиреЗ, рд╡реЗрдЧ рдЖрдгрд┐ рд╕рдорд╛рдВрддрд░ рдкреНрд░рдХреНрд░рд┐рдпреЗрдЪрд╛ рдЕрднрд┐рдорд╛рди рдмрд╛рд│рдЧреВ рд╢рдХрдд рдирд╛рд╣реА. рд╕рд░реНрд╡рд╕рд╛рдзрд╛рд░рдгрдкрдгреЗ, рд╕рдорд╕реНрдпрд╛ рд╕реЛрдбрд╡рдгреНрдпрд╛рдЪреНрдпрд╛ рджреГрд╖реНрдЯреАрдХреЛрдирд╛рдВрдЪреНрдпрд╛ рд░реБрдВрджреАрд╕рд╛рдареА рдЕрдиреЗрдХ рднрд╛рд╖рд╛ рдЖрдгрд┐ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рдкреЕрд░рд╛рдбрд╛рдЗрдореНрд╕рдЪреЗ рдЬреНрдЮрд╛рди рдЪрд╛рдВрдЧрд▓реЗ рдЖрд╣реЗ.
рд╕реНрдХрд╛рд▓рд╛ рднрд╛рд╖реЗрдд рдЬрд╛рдгреНрдпрд╛рд╕рд╛рдареА, рдЖрдкрдг рд╡рд╛рдЪреВ рд╢рдХрддрд╛
рдкрд╛рдпрдердирд╕рд╛рдареА, рдорд╛рдЭрд╛ рд╡рд┐рд╢реНрд╡рд╛рд╕ рдЖрд╣реЗ
4. рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛рд╕рд╣ рдХрд╛рд░реНрдп рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╕рд╛рдзрдиреЗ
рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛рдЪреНрдпрд╛ рдЬрдЧрд╛рдд рд╕рд░реНрд╡рд╛рдд рд▓реЛрдХрдкреНрд░рд┐рдп рд╕рд╛рдзрдирд╛рдВрдЪреА рдпрд╛рджреА рдпреЗрдереЗ рдЖрд╣реЗ:
- рдЕрдкрд╛рдЪреЗ рд╕реНрдкрд╛рд░реНрдХ
- рдЕрдкрд╛рдЪреЗ рдХрд╛рдлреНрдХрд╛
- рдЕрдкрд╛рдЪреЗ рд╣рдбреВрдк (HDFS, HBase, Hive)
- рдЕрдкрд╛рдЪреЗ рдХреЕрд╕рдВрджреНрд░рд╛
рдЖрдкрдг рдпрд╛ рдЖрд╢реНрдЪрд░реНрдпрдХрд╛рд░рдХ рдордзреНрдпреЗ рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛ рдмреНрд▓реЙрдХреНрд╕ рддрдпрд╛рд░ рдмрджреНрджрд▓ рдЕрдзрд┐рдХ рдорд╛рд╣рд┐рддреА рд╢реЛрдзреВ рд╢рдХрддрд╛
- рд╣рдбреВрдкрдЪреА рдУрд│рдЦ рд╣реЛрдК рд╢рдХрддреЗ
рдорд╛рд╕реНрдЯрд░рд┐рдВрдЧ рд╣рдбреВрдкрд╕рд╛рдареА рд╕рдВрдкреВрд░реНрдг рдорд╛рд░реНрдЧрджрд░реНрд╢рдХ (рд╡рд┐рдирд╛рдореВрд▓реНрдп) . - рдорд╛рдЭреНрдпрд╛рд╕рд╛рдареА рдЕрдкрд╛рдЪреЗ рд╕реНрдкрд╛рд░реНрдХрд╕рд╛рдареА рд╕рд░реНрд╡рд╛рдд рд╡реНрдпрд╛рдкрдХ рдорд╛рд░реНрдЧрджрд░реНрд╢рдХ рдЖрд╣реЗ -
рд╕реНрдкрд╛рд░реНрдХ: рд╕рдВрдкреВрд░реНрдг рдорд╛рд░реНрдЧрджрд░реНрд╢рдХ .
5. рдХреНрд▓рд╛рдЙрдб рдкреНрд▓реЕрдЯрдлреЙрд░реНрдо
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдкрджрд╛рд╕рд╛рдареА рдЕрд░реНрдЬрджрд╛рд░рд╛рдВрдЪреНрдпрд╛ рдореВрд▓рднреВрдд рдЖрд╡рд╢реНрдпрдХрддрд╛рдВрдЪреНрдпрд╛ рдпрд╛рджреАрдд рдХрд┐рдорд╛рди рдПрдХрд╛ рдХреНрд▓рд╛рдЙрдб рдкреНрд▓реЕрдЯрдлреЙрд░реНрдордЪреЗ рдЬреНрдЮрд╛рди рдЕрд╕рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ. рдирд┐рдпреЛрдХреНрддреЗ Amazon рд╡реЗрдм рд╕реЗрд╡рд╛рдВрдирд╛ рдкреНрд░рд╛рдзрд╛рдиреНрдп рджреЗрддрд╛рдд, Google рдЪреЗ рдХреНрд▓рд╛рдЙрдб рдкреНрд▓реЕрдЯрдлреЙрд░реНрдо рджреБрд╕рд▒реНрдпрд╛ рд╕реНрдерд╛рдирд╛рд╡рд░ рдЖрдгрд┐ Microsoft Azure рдкрд╣рд┐рд▓реНрдпрд╛ рддреАрди рдХреНрд░рдорд╛рдВрдХрд╛рд╡рд░ рдЖрд╣реЗ.
рддреБрдореНрд╣рд╛рд▓рд╛ Amazon EC2, AWS Lambda, Amazon S3, DynamoDB рдЪреЗ рдЪрд╛рдВрдЧрд▓реЗ рдЬреНрдЮрд╛рди рдЕрд╕рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ.
6. рд╡рд┐рддрд░рд┐рдд рдкреНрд░рдгрд╛рд▓реА
рдореЛрдареНрдпрд╛ рдбреЗрдЯрд╛рд╕рд╣ рдХрд╛рд░реНрдп рдХрд░рдгреЗ рдореНрд╣рдгрдЬреЗ рд╕реНрд╡рддрдВрддреНрд░рдкрдгреЗ рдХрд╛рд░реНрдпрд░рдд рд╕рдВрдЧрдгрдХрд╛рдВрдЪреНрдпрд╛ рдХреНрд▓рд╕реНрдЯрд░рдЪреА рдЙрдкрд╕реНрдерд┐рддреА рд╕реВрдЪрд┐рдд рдХрд░рддреЗ, рдЬреНрдпрд╛ рджрд░рдореНрдпрд╛рди рд╕рдВрдкреНрд░реЗрд╖рдг рдиреЗрдЯрд╡рд░реНрдХрджреНрд╡рд╛рд░реЗ рдХреЗрд▓реЗ рдЬрд╛рддреЗ. рдХреНрд▓рд╕реНрдЯрд░ рдЬрд┐рддрдХрд╛ рдореЛрдард╛ рдЕрд╕реЗрд▓ рддрд┐рддрдХрд╛ рддреНрдпрд╛рдЪреНрдпрд╛ рд╕рджрд╕реНрдп рдиреЛрдбреНрд╕рдЪреНрдпрд╛ рдЕрдкрдпрд╢рд╛рдЪреА рд╢рдХреНрдпрддрд╛ рдЬрд╛рд╕реНрдд. рдПрдХ рдЙрддреНрддрдо рдбреЗрдЯрд╛ рд╢рд╛рд╕реНрддреНрд░рдЬреНрдЮ рд╣реЛрдгреНрдпрд╛рд╕рд╛рдареА, рддреБрдореНрд╣рд╛рд▓рд╛ рд╡рд┐рддрд░рд┐рдд рдкреНрд░рдгрд╛рд▓реАрдВрд╕рд╛рдареА рд╕рдорд╕реНрдпрд╛ рдЖрдгрд┐ рд╡рд┐рджреНрдпрдорд╛рди рдЙрдкрд╛рдп рд╕рдордЬреВрди рдШреЗрдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ. рд╣рд╛ рдкрд░рд┐рд╕рд░ рдЬреБрдирд╛ рдЖрдгрд┐ рдЧреБрдВрддрд╛рдЧреБрдВрддреАрдЪрд╛ рдЖрд╣реЗ.
рдЕрдБрдбреНрд░реНрдпреВ рдЯреЗрдиреЗрдирдмреЙрдо рд╣реЗ рдпрд╛ рдХреНрд╖реЗрддреНрд░рд╛рддреАрд▓ рдЕрдЧреНрд░рдгреА рдорд╛рдирд▓реЗ рдЬрд╛рддрд╛рдд. рдЬреНрдпрд╛рдВрдирд╛ рд╕рд┐рджреНрдзрд╛рдВрддрд╛рдЪреА рднреАрддреА рд╡рд╛рдЯрдд рдирд╛рд╣реА рддреНрдпрд╛рдВрдЪреНрдпрд╛рд╕рд╛рдареА рдореА рддреНрдпрд╛рдЪреНрдпрд╛ рдкреБрд╕реНрддрдХрд╛рдЪреА рд╢рд┐рдлрд╛рд░рд╕ рдХрд░рддреЛ
рдорд▓рд╛ рд╡рд╛рдЯрддреЗ
рдЬреНрдпрд╛рдВрдирд╛ рд╡реНрд╣рд┐рдбрд┐рдУ рдкрд╣рд╛рдпрд▓рд╛ рдЖрд╡рдбрддреЗ рддреНрдпрд╛рдВрдЪреНрдпрд╛рд╕рд╛рдареА рдпреБрдЯреНрдпреБрдмрд╡рд░ рдПрдХ рдХреЛрд░реНрд╕ рдЖрд╣реЗ
7. рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди
рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдЕрд╢реА рдЧреЛрд╖реНрдЯ рдЖрд╣реЗ рдЬреА рддреБрдореНрд╣реА рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рдЕрд╕рд▓реНрдпрд╛рд╢рд┐рд╡рд╛рдп рд░рд╛рд╣реВ рд╢рдХрдд рдирд╛рд╣реА.
рдмрд╣реБрддреЗрдХ рд╡реЗрд│рд╛, рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рддрдерд╛рдХрдерд┐рдд рдбреЗрдЯрд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рддрдпрд╛рд░ рдХрд░рддреЛ, рдореНрд╣рдгрдЬреЗрдЪ рддреЛ рдПрдХрд╛ рдард┐рдХрд╛рдгрд╛рд╣реВрди рджреБрд╕рд▒реНрдпрд╛ рдард┐рдХрд╛рдгреА рдбреЗрдЯрд╛ рд╡рд┐рддрд░реАрдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рддрдпрд╛рд░ рдХрд░рддреЛ. рдпрд╛ рд╕рд╛рдиреБрдХреВрд▓ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдЕрд╕реВ рд╢рдХрддрд╛рдд рдЬреНрдпрд╛ рдмрд╛рд╣реНрдп рд╕реЗрд╡реЗрдЪреНрдпрд╛ API рд╡рд░ рдЬрд╛рддрд╛рдд рдХрд┐рдВрд╡рд╛ SQL рдХреНрд╡реЗрд░реА рдХрд░рддрд╛рдд, рдбреЗрдЯрд╛ рд╡рд╛рдврд╡рддрд╛рдд рдЖрдгрд┐ рдХреЗрдВрджреНрд░реАрдХреГрдд рд╕реНрдЯреЛрдЕрд░ (рдбреЗрдЯрд╛ рд╡реЗрдЕрд░рд╣рд╛рдКрд╕) рдХрд┐рдВрд╡рд╛ рдЕрд╕рдВрд░рдЪрд┐рдд рдбреЗрдЯрд╛ рд╕реНрдЯреЛрдЕрд░ (рдбреЗрдЯрд╛ рддрд▓рд╛рд╡) рдордзреНрдпреЗ рдареЗрд╡рддрд╛рдд.
рдереЛрдбрдХреНрдпрд╛рдд: рдбреЗрдЯрд╛ рдЗрдВрдЬрд┐рдирд┐рдЕрд░рд╕рд╛рдареА рдореВрд▓рднреВрдд рдЪреЗрдХрд▓рд┐рд╕реНрдЯ
рд╕рд╛рд░рд╛рдВрд╢ рджреЗрдгреНрдпрд╛рд╕рд╛рдареА, рдЦрд╛рд▓реАрд▓ рдЧреЛрд╖реНрдЯреАрдВрдЪреА рдЪрд╛рдВрдЧрд▓реА рд╕рдордЬ рдЕрд╕рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ:
- рдорд╛рд╣рд┐рддреА рдкреНрд░рдгрд╛рд▓реА;
- рд╕реЙрдлреНрдЯрд╡реЗрдЕрд░ рдбреЗрд╡реНрд╣рд▓рдкрдореЗрдВрдЯ (Agile, DevOps, Design Techniques, SOA);
- рд╡рд┐рддрд░рд┐рдд рдкреНрд░рдгрд╛рд▓реА рдЖрдгрд┐ рд╕рдорд╛рдВрддрд░ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ;
- рдбреЗрдЯрд╛рдмреЗрд╕ рдореВрд▓рднреВрдд рддрддреНрддреНрд╡реЗ - рдирд┐рдпреЛрдЬрди, рдбрд┐рдЭрд╛рдЗрди, рдСрдкрд░реЗрд╢рди рдЖрдгрд┐ рд╕рдорд╕реНрдпрд╛рдирд┐рд╡рд╛рд░рдг;
- рдкреНрд░рдпреЛрдЧрд╛рдВрдЪреА рд░рдЪрдирд╛ - рд╕рдВрдХрд▓реНрдкрдирд╛ рд╕рд┐рджреНрдз рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА A/B рдЪрд╛рдЪрдгреНрдпрд╛, рд╡рд┐рд╢реНрд╡рд╛рд╕рд╛рд░реНрд╣рддрд╛, рд╕рд┐рд╕реНрдЯрдо рдХрд╛рд░реНрдпрдкреНрд░рджрд░реНрд╢рди рдирд┐рд╢реНрдЪрд┐рдд рдХрд░рдгреЗ рдЖрдгрд┐ рдЪрд╛рдВрдЧрд▓реЗ рдЙрдкрд╛рдп рддреНрд╡рд░реАрдд рд╡рд┐рддрд░реАрдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╡рд┐рд╢реНрд╡рд╛рд╕рд╛рд░реНрд╣ рдорд╛рд░реНрдЧ рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдгреЗ.
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрдВрддрд╛ рд╣реЛрдгреНрдпрд╛рд╕рд╛рдареА рдпрд╛ рдлрдХреНрдд рдХрд╛рд╣реА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдЖрд╣реЗрдд, рддреНрдпрд╛рдореБрд│реЗ рдбреЗрдЯрд╛ рд╕рд┐рд╕реНрдЯрдо, рдорд╛рд╣рд┐рддреА рдкреНрд░рдгрд╛рд▓реА, рд╕рддрдд рд╡рд┐рддрд░рдг/рдЙрдкрдпреЛрдЬрди/рдПрдХреАрдХрд░рдг, рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рднрд╛рд╖рд╛ рдЖрдгрд┐ рдЗрддрд░ рд╕рдВрдЧрдгрдХ рд╡рд┐рдЬреНрдЮрд╛рди рд╡рд┐рд╖рдп (рд╕рд░реНрд╡ рд╡рд┐рд╖рдп рдХреНрд╖реЗрддреНрд░ рдирд╛рд╣реАрдд) рдЬрд╛рдгреВрди рдШреНрдпрд╛ рдЖрдгрд┐ рд╕рдордЬреВрди рдШреНрдпрд╛.
рдЖрдгрд┐ рд╢реЗрд╡рдЯреА, рд╢реЗрд╡рдЯрдЪреА рдкрдг рдЕрддрд┐рд╢рдп рдорд╣рддреНрддреНрд╡рд╛рдЪреА рдЧреЛрд╖реНрдЯ рдорд▓рд╛ рд╕рд╛рдВрдЧрд╛рдпрдЪреА рдЖрд╣реЗ.
рдбреЗрдЯрд╛ рдЕрднрд┐рдпрд╛рдВрддреНрд░рд┐рдХреА рдмрдирдгреНрдпрд╛рдЪрд╛ рдорд╛рд░реНрдЧ рд╡рд╛рдЯрддреЛ рддрд┐рддрдХрд╛ рд╕реЛрдкрд╛ рдирд╛рд╣реА. рддреЛ рдХреНрд╖рдорд╛ рдХрд░рдд рдирд╛рд╣реА, рддреЛ рдирд┐рд░рд╛рд╢ рдХрд░рддреЛ рдЖрдгрд┐ рдпрд╛рд╕рд╛рдареА рддреБрдореНрд╣реА рддрдпрд╛рд░ рдЕрд╕рд▓реЗ рдкрд╛рд╣рд┐рдЬреЗ. рдпрд╛ рдкреНрд░рд╡рд╛рд╕рд╛рддреАрд▓ рдХрд╛рд╣реА рдХреНрд╖рдг рддреБрдореНрд╣рд╛рд▓рд╛ рд╣рд╛рд░ рдорд╛рдирдгреНрдпрд╛рд╕ рдкреНрд░рд╡реГрддреНрдд рдХрд░рддрд╛рдд. рдкрдг рд╣реЗ рдЦрд░реЗ рдХрд╛рдо рдЖрдгрд┐ рд╢рд┐рдХрдгреНрдпрд╛рдЪреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдЖрд╣реЗ.
рдлрдХреНрдд рд╕реБрд░реБрд╡рд╛рддреАрдкрд╛рд╕реВрди рд╕рд╛рдЦрд░реЗрдЪрд╛ рдХреЛрдЯ рдХрд░реВ рдирдХрд╛. рдкреНрд░рд╡рд╛рд╕рд╛рдЪрд╛ рд╕рдВрдкреВрд░реНрдг рдореБрджреНрджрд╛ рдореНрд╣рдгрдЬреЗ рд╢рдХреНрдп рддрд┐рддрдХреЗ рд╢рд┐рдХрдгреЗ рдЖрдгрд┐ рдирд╡реАрди рдЖрд╡реНрд╣рд╛рдирд╛рдВрд╕рд╛рдареА рддрдпрд╛рд░ рдЕрд╕рдгреЗ.
рд╣реЗ рдПрдХ рдЙрддреНрддрдо рдЪрд┐рддреНрд░ рдЖрд╣реЗ рдЬреЗ рдорд▓рд╛ рд╕рдореЛрд░ рдЖрд▓реЗ рдЖрд╣реЗ рдЬреЗ рдпрд╛ рдореБрджреНрджреНрдпрд╛рд▓рд╛ рдЪрд╛рдВрдЧрд▓реЗ рд╕реНрдкрд╖реНрдЯ рдХрд░рддреЗ:
рдЖрдгрд┐ рд╣реЛ, рдмрд░реНрдирдЖрдЙрдЯ рдЖрдгрд┐ рд╡рд┐рд╢реНрд░рд╛рдВрддреА рдЯрд╛рд│рдгреНрдпрд╛рдЪреЗ рд▓рдХреНрд╖рд╛рдд рдареЗрд╡рд╛. рд╣реЗ рджреЗрдЦреАрд▓ рдЦреВрдк рдорд╣рддреНрд╡рд╛рдЪреЗ рдЖрд╣реЗ. рд╢реБрднреЗрдЪреНрдЫрд╛!
рдорд┐рддреНрд░рд╛рдВрдиреЛ рддреБрдореНрд╣рд╛рд▓рд╛ рд▓реЗрдЦрд╛рдмрджреНрджрд▓ рдХрд╛рдп рд╡рд╛рдЯрддреЗ? рдЖрдореНрд╣реА рддреБрдореНрд╣рд╛рд▓рд╛ рдЖрдордВрддреНрд░рд┐рдд рдХрд░рддреЛ
рд╕реНрддреНрд░реЛрдд: www.habr.com