рддреНрдпрд╛рдиреБрд╕рд╛рд░ рд╡рд┐рддрд░рд┐рдд рд╕рдВрдЧрдгрди рдЖрдгрд┐ рдмрд┐рдЧ рдбреЗрдЯрд╛рд╕рд╛рдареА рдмрд╛рдЬрд╛рд░
рдирд┐рдпрдорд┐рдд рд╡реНрдпрд╡рд╕рд╛рдпрд╛рдд рд╡рд┐рддрд░рд┐рдд рд╕рдВрдЧрдгрди рдХрд╛ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ? рдпреЗрдереЗ рд╕рд░реНрд╡ рдХрд╛рд╣реА рдПрдХрд╛рдЪ рд╡реЗрд│реА рд╕реЛрдкреЗ рдЖрдгрд┐ рдЬрдЯрд┐рд▓ рдЖрд╣реЗ. рд╕реЛрдкреЗ - рдХрд╛рд░рдг рдмрд╣реБрддреЗрдХ рдкреНрд░рдХрд░рдгрд╛рдВрдордзреНрдпреЗ рдЖрдореНрд╣реА рдорд╛рд╣рд┐рддреАрдЪреНрдпрд╛ рдкреНрд░рддрд┐ рдпреБрдирд┐рдЯ рддреБрд▓рдиреЗрдиреЗ рд╕реЛрдкреА рдЧрдгрдирд╛ рдХрд░рддреЛ. рд╣реЗ рдЕрд╡рдШрдб рдЖрд╣реЗ рдХрд╛рд░рдг рдЕрд╢реА рдмрд░реАрдЪ рдорд╛рд╣рд┐рддреА рдЖрд╣реЗ. рдЗрддрдХреЗ рд╕рд╛рд░реЗ. рдкрд░рд┐рдгрд╛рдореА, рддреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ
рдЕрд▓реАрдХрдбреАрд▓ рдЙрджрд╛рд╣рд░рдгрд╛рдВрдкреИрдХреА рдПрдХ: рдкрд┐рдЭреЗрд░рд┐рдпрд╛ рдЪреЗрди рдбреЛрдбреЛ рдкрд┐рдЭреНрдЭрд╛
рджреБрд╕рд░реЗ рдЙрджрд╛рд╣рд░рдгрдГ
рд╕рд╛рдзрди рдирд┐рд╡рдб
рдпрд╛ рдкреНрд░рдХрд╛рд░рдЪреНрдпрд╛ рд╕рдВрдЧрдгрдирд╛рд╕рд╛рдареА рдЙрджреНрдпреЛрдЧ рдорд╛рдирдХ рд╣рдбреВрдк рдЖрд╣реЗ. рдХрд╛? рдХрд╛рд░рдг Hadoop рдПрдХ рдЙрддреНрдХреГрд╖реНрдЯ, рд╕реБ-рджрд╕реНрддрдРрд╡рдЬреАрдХрд░рдг рдХреЗрд▓реЗрд▓реА рдлреНрд░реЗрдорд╡рд░реНрдХ рдЖрд╣реЗ (рддреНрдпрд╛рдЪ Habr рдордзреНрдпреЗ рдпрд╛ рд╡рд┐рд╖рдпрд╛рд╡рд░реАрд▓ рдЕрдиреЗрдХ рддрдкрд╢реАрд▓рд╡рд╛рд░ рд▓реЗрдЦ рдЙрдкрд▓рдмреНрдз рдЖрд╣реЗрдд), рдЬреНрдпрд╛рдд рдЙрдкрдпреБрдХреНрддрддрд╛ рдЖрдгрд┐ рд▓рд╛рдпрдмреНрд░рд░реАрдВрдЪрд╛ рд╕рдВрдкреВрд░реНрдг рд╕рдВрдЪ рдЖрд╣реЗ. рддреБрдореНрд╣реА рд╕рдВрд░рдЪрд┐рдд рдЖрдгрд┐ рдЕрд╕рдВрд░рдЪрд┐рдд рджреЛрдиреНрд╣реА рдбреЗрдЯрд╛рдЪреЗ рдкреНрд░рдЪрдВрдб рд╕рдВрдЪ рдЗрдирдкреБрдЯ рдХрд░реВ рд╢рдХрддрд╛ рдЖрдгрд┐ рд╕рд┐рд╕реНрдЯрдо рд╕реНрд╡рддрдГ рддреЗ рд╕рдВрдЧрдгрдХреАрдп рд╢рдХреНрддреАрдордзреНрдпреЗ рд╡рд┐рддрд░рд┐рдд рдХрд░реЗрд▓. рд╢рд┐рд╡рд╛рдп, рдпрд╛ рд╕рдорд╛рди рдХреНрд╖рдорддрд╛ рдХрдзреАрд╣реА рд╡рд╛рдврд╡рд▓реНрдпрд╛ рдЬрд╛рдК рд╢рдХрддрд╛рдд рдХрд┐рдВрд╡рд╛ рдЕрдХреНрд╖рдо рдХреЗрд▓реНрдпрд╛ рдЬрд╛рдК рд╢рдХрддрд╛рдд - рдХреГрддреАрдд рддреАрдЪ рдХреНрд╖реИрддрд┐рдЬ рд╕реНрдХреЗрд▓реЗрдмрд┐рд▓рд┐рдЯреА.
2017 рдордзреНрдпреЗ, рдкреНрд░рднрд╛рд╡реА рд╕рд▓реНрд▓рд╛рдЧрд╛рд░ рдХрдВрдкрдиреА рдЧрд╛рд░реНрдЯрдирд░
Hadoop рдЕрдиреЗрдХ рдЦрд╛рдВрдмрд╛рдВрд╡рд░ рдЯрд┐рдХреВрди рдЖрд╣реЗ, рддреНрдпрд╛рдкреИрдХреА рд╕рд░реНрд╡рд╛рдд рд▓рдХреНрд╖рдгреАрдп рдореНрд╣рдгрдЬреЗ MapReduce рддрдВрддреНрд░рдЬреНрдЮрд╛рди (рд╕рд░реНрд╡реНрд╣рд░реНрд╕ рджрд░рдореНрдпрд╛рди рдЧрдгрдирд╛ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдбреЗрдЯрд╛ рд╡рд┐рддрд░рд┐рдд рдХрд░рдгреНрдпрд╛рдЪреА рдкреНрд░рдгрд╛рд▓реА) рдЖрдгрд┐ HDFS рдлрд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдо. рдирдВрддрд░рдЪреЗ рд╡рд┐рд╢реЗрд╖рддрдГ рдХреНрд▓рд╕реНрдЯрд░ рдиреЛрдбреНрд╕рдордзреНрдпреЗ рд╡рд┐рддрд░реАрдд рдХреЗрд▓реЗрд▓реА рдорд╛рд╣рд┐рддреА рд╕рдВрдЧреНрд░рд╣рд┐рдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдбрд┐рдЭрд╛рдЗрди рдХреЗрд▓реЗрд▓реЗ рдЖрд╣реЗ: рдирд┐рд╢реНрдЪрд┐рдд рдЖрдХрд╛рд░рд╛рдЪрд╛ рдкреНрд░рддреНрдпреЗрдХ рдмреНрд▓реЙрдХ рдЕрдиреЗрдХ рдиреЛрдбреНрд╕рд╡рд░ рдареЗрд╡рд▓рд╛ рдЬрд╛рдК рд╢рдХрддреЛ рдЖрдгрд┐ рдкреНрд░рддрд┐рдХреГрддреАрдмрджреНрджрд▓ рдзрдиреНрдпрд╡рд╛рдж, рд╕рд┐рд╕реНрдЯрдо рд╡реИрдпрдХреНрддрд┐рдХ рдиреЛрдбреНрд╕рдЪреНрдпрд╛ рдЕрдкрдпрд╢рд╛рд╕рд╛рдареА рд▓рд╡рдЪрд┐рдХ рдЖрд╣реЗ. рдлрд╛рдЗрд▓ рдЯреЗрдмрд▓рдРрд╡рдЬреА, рдиреЗрдордиреЛрдб рдирд╛рд╡рд╛рдЪрд╛ рдПрдХ рд╡рд┐рд╢реЗрд╖ рд╕рд░реНрд╡реНрд╣рд░ рд╡рд╛рдкрд░рд▓рд╛ рдЬрд╛рддреЛ.
MapReduce рдХрд╕реЗ рдХрд╛рд░реНрдп рдХрд░рддреЗ рд╣реЗ рдЦрд╛рд▓реА рджрд┐рд▓реЗрд▓реЗ рдЪрд┐рддреНрд░ рджрд╛рдЦрд╡рддреЗ. рдкрд╣рд┐рд▓реНрдпрд╛ рдЯрдкреНрдкреНрдпрд╛рд╡рд░, рдбреЗрдЯрд╛ рдПрдХрд╛ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдирд┐рдХрд╖рд╛рдиреБрд╕рд╛рд░ рд╡рд┐рднрд╛рдЧрд▓рд╛ рдЬрд╛рддреЛ, рджреБрд╕рд▒реНрдпрд╛ рдЯрдкреНрдкреНрдпрд╛рд╡рд░ рддреЛ рд╕рдВрдЧрдгрдХреАрдп рд╢рдХреНрддреАрдиреБрд╕рд╛рд░ рд╡рд┐рддрд░реАрдд рдХреЗрд▓рд╛ рдЬрд╛рддреЛ рдЖрдгрд┐ рддрд┐рд╕рд▒реНрдпрд╛ рдЯрдкреНрдкреНрдпрд╛рд╡рд░ рдЧрдгрдирд╛ рдХреЗрд▓реА рдЬрд╛рддреЗ.
MapReduce рдореВрд│рддрдГ Google рдиреЗ рддреНрдпрд╛рдЪреНрдпрд╛ рд╢реЛрдз рдЧрд░рдЬрд╛рдВрд╕рд╛рдареА рддрдпрд╛рд░ рдХреЗрд▓реЗ рд╣реЛрддреЗ. рдордЧ MapReduce рдореЛрдлрдд рдХреЛрдб рдЧреЗрд▓рд╛, рдЖрдгрд┐ Apache рдиреЗ рдкреНрд░рдХрд▓реНрдк рд╣рд╛рддреА рдШреЗрддрд▓рд╛. рдмрд░рдВ, Google рд╣рд│реВрд╣рд│реВ рдЗрддрд░ рдЙрдкрд╛рдпрд╛рдВрдХрдбреЗ рд╕реНрдерд▓рд╛рдВрддрд░рд┐рдд рдЭрд╛рд▓рдВ. рдПрдХ рдордиреЛрд░рдВрдЬрдХ рдорд╛рд╣рд┐рддреА: Google рдХрдбреЗ рд╕рдзреНрдпрд╛ Google рдХреНрд▓рд╛рдЙрдб рдбреЗрдЯрд╛рдлреНрд▓реЛ рдирд╛рд╡рд╛рдЪрд╛ рдПрдХ рдкреНрд░рдХрд▓реНрдк рдЖрд╣реЗ, рдЬреЛ рд╣рдбреВрдк рдирдВрддрд░рдЪреА рдкреБрдвреАрд▓ рдкрд╛рдпрд░реА рдореНрд╣рдгреВрди рд╕реНрдерд┐рдд рдЖрд╣реЗ, рддреНрдпрд╛рдЪреА рддреНрд╡рд░рд┐рдд рдмрджрд▓реА рдореНрд╣рдгреВрди.
рдмрд╛рд░рдХрд╛рдИрдиреЗ рдкрд╛рд╣рд┐рд▓реНрдпрд╛рд╕ рдЕрд╕реЗ рджрд┐рд╕реВрди рдпреЗрддреЗ рдХреА Google рдХреНрд▓рд╛рдЙрдб рдбреЗрдЯрд╛рдлреНрд▓реЛ Apache Beam рдЪреНрдпрд╛ рднрд┐рдиреНрдирддреЗрд╡рд░ рдЖрдзрд╛рд░рд┐рдд рдЖрд╣реЗ, рддрд░ Apache Beam рдордзреНрдпреЗ рдЪрд╛рдВрдЧрд▓реНрдпрд╛-рджрд╕реНрддрдРрд╡рдЬреАрдХрд░рдг рдХреЗрд▓реЗрд▓реНрдпрд╛ Apache Spark рдлреНрд░реЗрдорд╡рд░реНрдХрдЪрд╛ рд╕рдорд╛рд╡реЗрд╢ рдЖрд╣реЗ, рдЬреНрдпрд╛рдореБрд│реЗ рдЖрдореНрд╣рд╛рд▓рд╛ рд╕реЛрд▓реНрдпреВрд╢рдирдЪреНрдпрд╛ рдЬрд╡рд│рдЬрд╡рд│ рд╕рдорд╛рди рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреА рдЧрддреАрдмрджреНрджрд▓ рдмреЛрд▓рддрд╛ рдпреЗрддреЗ. рдмрд░рдВ, рдЕрдкрд╛рдЪреЗ рд╕реНрдкрд╛рд░реНрдХ рдПрдЪрдбреАрдПрдлрдПрд╕ рдлрд╛рдЗрд▓ рд╕рд┐рд╕реНрдЯрдорд╡рд░ рдЙрддреНрддрдо рдкреНрд░рдХрд╛рд░реЗ рдХрд╛рд░реНрдп рдХрд░рддреЗ, рдЬреЗ рддреНрдпрд╛рд╕ рд╣рдбреВрдк рд╕рд░реНрд╡реНрд╣рд░рд╡рд░ рддреИрдирд╛рдд рдХрд░рдгреНрдпрд╛рдЪреА рдкрд░рд╡рд╛рдирдЧреА рджреЗрддреЗ.
рд╣рдбреВрдк рдЖрдгрд┐ рд╕реНрдкрд╛рд░реНрдХ рд╡рд┐рд░реБрджреНрдз Google рдХреНрд▓рд╛рдЙрдб рдбреЗрдЯрд╛рдлреНрд▓реЛрд╕рд╛рдареА рдХрд╛рдЧрджрдкрддреНрд░рд╛рдВрдЪреА рдорд╛рддреНрд░рд╛ рдЖрдгрд┐ рддрдпрд╛рд░ рд╕рдорд╛рдзрд╛рдиреЗ рдпреЗрдереЗ рдЬреЛрдбрд╛ рдЖрдгрд┐ рд╕рд╛рдзрдирд╛рдЪреА рдирд┐рд╡рдб рд╕реНрдкрд╖реНрдЯ рд╣реЛрдИрд▓. рд╢рд┐рд╡рд╛рдп, рдЕрднрд┐рдпрдВрддреЗ рд╕реНрд╡рддрдГ рдард░рд╡реВ рд╢рдХрддрд╛рдд рдХреА рдХреЛрдгрддрд╛ рдХреЛрдб - рд╣рдбреВрдк рдХрд┐рдВрд╡рд╛ рд╕реНрдкрд╛рд░реНрдХрд╕рд╛рдареА - рддреНрдпрд╛рдВрдиреА рдХрд╛рд░реНрдп, рдЕрдиреБрднрд╡ рдЖрдгрд┐ рдкрд╛рддреНрд░рддрд╛ рдпрд╛рд╡рд░ рд▓рдХреНрд╖ рдХреЗрдВрджреНрд░рд┐рдд рдХрд░реВрди рдЪрд╛рд▓рд╡рд╛рд╡реЗ.
рдореЗрдШ рдХрд┐рдВрд╡рд╛ рд╕реНрдерд╛рдирд┐рдХ рд╕рд░реНрд╡реНрд╣рд░
рдХреНрд▓рд╛рдЙрдбрдордзреНрдпреЗ рд╕рд╛рдорд╛рдиреНрдп рд╕рдВрдХреНрд░рдордгрд╛рдЪреНрдпрд╛ рдкреНрд░рд╡реГрддреНрддреАрдиреЗ рд╣рдбреВрдк-рдПрдЬ-рдП-рд╕рд░реНрд╡реНрд╣рд┐рд╕ рд╕рд╛рд░рдЦреНрдпрд╛ рдордиреЛрд░рдВрдЬрдХ рд╢рдмреНрджрд╛рд▓рд╛ рджреЗрдЦреАрд▓ рдЬрдиреНрдо рджрд┐рд▓рд╛ рдЖрд╣реЗ. рдЕрд╢рд╛ рдкрд░рд┐рд╕реНрдерд┐рддреАрдд, рдХрдиреЗрдХреНрдЯреЗрдб рд╕рд░реНрд╡реНрд╣рд░рдЪреЗ рдкреНрд░рд╢рд╛рд╕рди рдЦреВрдк рдорд╣рддреНрд╡рд╛рдЪреЗ рдмрдирд▓реЗ рдЖрд╣реЗ. рдХрд╛рд░рдг, рдЕрд░реЗрд░реЗ, рддреНрдпрд╛рдЪреА рд▓реЛрдХрдкреНрд░рд┐рдпрддрд╛ рдЕрд╕реВрдирд╣реА, рд╢реБрджреНрдз рд╣рдбреВрдк рд╣реЗ рдХреЙрдиреНрдлрд┐рдЧрд░ рдХрд░рдгреЗ рдЕрд╡рдШрдб рд╕рд╛рдзрди рдЖрд╣реЗ, рдХрд╛рд░рдг рдмрд░реЗрдЪ рдХрд╛рд╣реА рд╡реНрдпрдХреНрддрд┐рдЪрд▓рд┐рддрдкрдгреЗ рдХрд░рд╛рд╡реЗ рд▓рд╛рдЧреЗрд▓. рдЙрджрд╛рд╣рд░рдгрд╛рд░реНрде, рд╕рд░реНрд╡реНрд╣рд░ рд╡реИрдпрдХреНрддрд┐рдХрд░рд┐рддреНрдпрд╛ рдХреЙрдиреНрдлрд┐рдЧрд░ рдХрд░рд╛, рддреНрдпрд╛рдВрдЪреНрдпрд╛ рдХрд╛рд░реНрдпрдкреНрд░рджрд░реНрд╢рдирд╛рдЪреЗ рдирд┐рд░реАрдХреНрд╖рдг рдХрд░рд╛ рдЖрдгрд┐ рдЕрдиреЗрдХ рдкреЕрд░рд╛рдореАрдЯрд░реНрд╕ рдХрд╛рд│рдЬреАрдкреВрд░реНрд╡рдХ рдХреЙрдиреНрдлрд┐рдЧрд░ рдХрд░рд╛. рд╕рд░реНрд╡рд╕рд╛рдзрд╛рд░рдгрдкрдгреЗ, рдХрд╛рдо рд╣реМрд╢реАрд╕рд╛рдареА рдЖрд╣реЗ рдЖрдгрд┐ рдХреБрдареЗрддрд░реА рдЧрдбрдмрдб рд╣реЛрдгреНрдпрд╛рдЪреА рдХрд┐рдВрд╡рд╛ рдХрд╛рд╣реАрддрд░реА рдЧрд╣рд╛рд│ рд╣реЛрдгреНрдпрд╛рдЪреА рдореЛрдареА рд╢рдХреНрдпрддрд╛ рдЕрд╕рддреЗ.
рдореНрд╣рдгреВрди, рд╡рд┐рд╡рд┐рдз рд╡рд┐рддрд░рдг рдХрд┐рдЯ, рдЬреЗ рд╕реБрд░реБрд╡рд╛рддреАрд▓рд╛ рд╕реЛрдпреАрд╕реНрдХрд░ рддреИрдирд╛рддреА рдЖрдгрд┐ рдкреНрд░рд╢рд╛рд╕рди рд╕рд╛рдзрдирд╛рдВрд╕рд╣ рд╕реБрд╕рдЬреНрдЬ рдЖрд╣реЗрдд, рдЦреВрдк рд▓реЛрдХрдкреНрд░рд┐рдп рдЭрд╛рд▓реЗ рдЖрд╣реЗрдд. рд╕реНрдкрд╛рд░реНрдХрд▓рд╛ рд╕рдорд░реНрдерди рджреЗрдгрд╛рд░реЗ рдЖрдгрд┐ рд╕рд░реНрд╡рдХрд╛рд╣реА рд╕реЛрдкреЗ рдХрд░рдгрд╛рд░реЗ рд╕рд░реНрд╡рд╛рдд рд▓реЛрдХрдкреНрд░рд┐рдп рд╡рд┐рддрд░рдг рдореНрд╣рдгрдЬреЗ рдХреНрд▓рд╛рдЙрдбреЗрд░рд╛. рдпрд╛рдд рд╕рд╢реБрд▓реНрдХ рдЖрдгрд┐ рд╡рд┐рдирд╛рдореВрд▓реНрдп рджреЛрдиреНрд╣реА рдЖрд╡реГрддреНрддреНрдпрд╛ рдЖрд╣реЗрдд - рдЖрдгрд┐ рдирдВрддрд░рдЪреНрдпрд╛ рдХрд╛рд│рд╛рдд рдиреЛрдбреНрд╕рдЪреА рд╕рдВрдЦреНрдпрд╛ рдорд░реНрдпрд╛рджрд┐рдд рди рдХрд░рддрд╛ рд╕рд░реНрд╡ рдореВрд▓рднреВрдд рдХрд╛рд░реНрдпрдХреНрд╖рдорддрд╛ рдЙрдкрд▓рдмреНрдз рдЖрд╣реЗ.
рд╕реЗрдЯрдЕрдк рджрд░рдореНрдпрд╛рди, рдХреНрд▓рд╛рдЙрдбреЗрд░рд╛ рд╡реНрдпрд╡рд╕реНрдерд╛рдкрдХ SSH рджреНрд╡рд╛рд░реЗ рддреБрдордЪреНрдпрд╛ рд╕рд░реНрд╡реНрд╣рд░рд╢реА рдХрдиреЗрдХреНрдЯ рд╣реЛрдИрд▓. рдПрдХ рдордиреЛрд░рдВрдЬрдХ рдореБрджреНрджрд╛: рд╕реНрдерд╛рдкрд┐рдд рдХрд░рддрд╛рдирд╛, рддреЗ рддрдерд╛рдХрдерд┐рдд рджреНрд╡рд╛рд░реЗ рдЪрд╛рд▓рддреЗ рд╣реЗ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рдгреЗ рдЪрд╛рдВрдЧрд▓реЗ рдЖрд╣реЗ рдкрд╛рд░реНрд╕рд▓: рд╡рд┐рд╢реЗрд╖ рдкреЕрдХреЗрдЬреЗрд╕, рддреНрдпрд╛рддреАрд▓ рдкреНрд░рддреНрдпреЗрдХрд╛рдордзреНрдпреЗ рдПрдХрдореЗрдХрд╛рдВрд╕рд╣ рдХрд╛рд░реНрдп рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдХреЙрдиреНрдлрд┐рдЧрд░ рдХреЗрд▓реЗрд▓реЗ рд╕рд░реНрд╡ рдЖрд╡рд╢реНрдпрдХ рдШрдЯрдХ рдЕрд╕рддрд╛рдд. рдореВрд▓рдд: рд╣реА рдкреЕрдХреЗрдЬ рдореЕрдиреЗрдЬрд░рдЪреА рд╕реБрдзрд╛рд░рд┐рдд рдЖрд╡реГрддреНрддреА рдЖрд╣реЗ.
рдЗрдиреНрд╕реНрдЯреЙрд▓реЗрд╢рдирдирдВрддрд░, рдЖрдореНрд╣рд╛рд▓рд╛ рдХреНрд▓рд╕реНрдЯрд░ рдореЕрдиреЗрдЬрдореЗрдВрдЯ рдХрдиреНрд╕реЛрд▓ рдорд┐рд│реЗрд▓, рдЬрд┐рдереЗ рддреБрдореНрд╣реА рдХреНрд▓рд╕реНрдЯрд░ рдЯреЗрд▓реАрдореЗрдЯреНрд░реА, рд╕реНрдерд╛рдкрд┐рдд рд╕реЗрд╡рд╛ рдкрд╛рд╣реВ рд╢рдХрддрд╛, рддрд╕реЗрдЪ рддреБрдореНрд╣реА рд░рд┐рд╕реЛрд░реНрд╕реЗрд╕ рдЬреЛрдбреВ/рдХрд╛рдвреВ рд╢рдХрддрд╛ рдЖрдгрд┐ рдХреНрд▓рд╕реНрдЯрд░ рдХреЙрдиреНрдлрд┐рдЧрд░реЗрд╢рди рд╕рдВрдкрд╛рджрд┐рдд рдХрд░реВ рд╢рдХрддрд╛.
рдкрд░рд┐рдгрд╛рдореА, BigData рдЪреНрдпрд╛ рдЙрдЬреНрд╡рд▓ рднрд╡рд┐рд╖реНрдпрд╛рдд рддреБрдореНрд╣рд╛рд▓рд╛ рдШреЗрдКрди рдЬрд╛рдгрд╛рд░реА рд░реЙрдХреЗрдЯрдЪреА рдХреЗрдмрд┐рди рддреБрдордЪреНрдпрд╛рд╕рдореЛрд░ рджрд┐рд╕рддреЗ. рдкрдг рдЖрдкрдг "рдЪрд▓рд╛ рдЬрд╛рдКрдпрд╛" рдореНрд╣рдгрдгреНрдпрд╛рдЖрдзреА рдЖрдкрдг рд╣реБрдбрдЦрд╛рд▓реА рдЬрд╛рдКрдпрд╛.
рд╣рд╛рд░реНрдбрд╡реЗрдЕрд░ рдЖрд╡рд╢реНрдпрдХрддрд╛
рддреНрдпрд╛рдЪреНрдпрд╛ рд╡реЗрдмрд╕рд╛рдЗрдЯрд╡рд░, рдХреНрд▓рд╛рдЙрдбреЗрд░рд╛ рд╡реЗрдЧрд╡реЗрдЧрд│реНрдпрд╛ рд╕рдВрднрд╛рд╡реНрдп рдХреЙрдиреНрдлрд┐рдЧрд░реЗрд╢рдирдЪрд╛ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рддреЗ. рд╕рд╛рдорд╛рдиреНрдп рддрддреНрддреНрд╡реЗ рдЬреНрдпрд╛рджреНрд╡рд╛рд░реЗ рддреЗ рддрдпрд╛рд░ рдХреЗрд▓реЗ рдЬрд╛рддрд╛рдд рддреЗ рдЪрд┐рддреНрд░рд╛рдд рджрд░реНрд╢рд╡рд┐рд▓реЗ рдЖрд╣реЗрдд:
MapReduce рд╣реЗ рдЖрд╢рд╛рд╡рд╛рджреА рдЪрд┐рддреНрд░ рдЕрд╕реНрдкрд╖реНрдЯ рдХрд░реВ рд╢рдХрддреЗ. рдЖрдкрдг рдорд╛рдЧреАрд▓ рд╡рд┐рднрд╛рдЧрд╛рддреАрд▓ рдЖрдХреГрддреА рдкреБрдиреНрд╣рд╛ рдкрд╛рд╣рд┐рд▓реНрдпрд╛рд╕, рд╣реЗ рд╕реНрдкрд╖реНрдЯ рд╣реЛрддреЗ рдХреА рдЬрд╡рд│рдЬрд╡рд│ рд╕рд░реНрд╡ рдкреНрд░рдХрд░рдгрд╛рдВрдордзреНрдпреЗ, рдбрд┐рд╕реНрдХ рдХрд┐рдВрд╡рд╛ рдиреЗрдЯрд╡рд░реНрдХрд╡рд░реВрди рдбреЗрдЯрд╛ рд╡рд╛рдЪрддрд╛рдирд╛ MapReduce рдЬреЙрдмрдордзреНрдпреЗ рдЕрдбрдерд│реЗ рдпреЗрдК рд╢рдХрддрд╛рдд. рдХреНрд▓рд╛рдЙрдбреЗрд░рд╛ рдмреНрд▓реЙрдЧрдордзреНрдпреЗрд╣реА рдпрд╛рдЪреА рдиреЛрдВрдж рдЖрд╣реЗ. рдкрд░рд┐рдгрд╛рдореА, рдХреЛрдгрддреНрдпрд╛рд╣реА рд╡реЗрдЧрд╡рд╛рди рдЧрдгрдиреЗрд╕рд╛рдареА, рд╕реНрдкрд╛рд░реНрдХрдЪреНрдпрд╛ рдорд╛рдзреНрдпрдорд╛рддреВрди, рдЬреЗ рд╕рд╣рд╕рд╛ рд░рд┐рдЕрд▓-рдЯрд╛рдЗрдо рдЧрдгрдиреЗрд╕рд╛рдареА рд╡рд╛рдкрд░рд▓реЗ рдЬрд╛рддреЗ, I/O рдЧрддреА рдЦреВрдк рдорд╣рддреНрддреНрд╡рд╛рдЪреА рдЖрд╣реЗ. рдореНрд╣рдгреВрди, рд╣рдбреВрдк рд╡рд╛рдкрд░рддрд╛рдирд╛, рдХреНрд▓рд╕реНрдЯрд░рдордзреНрдпреЗ рд╕рдВрддреБрд▓рд┐рдд рдЖрдгрд┐ рд╡реЗрдЧрд╡рд╛рди рдорд╢реАрди рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдХрд░рдгреЗ рдЦреВрдк рдорд╣рддреНрд╡рд╛рдЪреЗ рдЖрд╣реЗ, рдЬреЗ рд╕реМрдореНрдпрдкрдгреЗ рд╕рд╛рдВрдЧрд╛рдпрдЪреЗ рддрд░, рдХреНрд▓рд╛рдЙрдб рдЗрдиреНрдлреНрд░рд╛рд╕реНрдЯреНрд░рдХреНрдЪрд░рдордзреНрдпреЗ рдиреЗрд╣рдореАрдЪ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХреЗрд▓реЗ рдЬрд╛рдд рдирд╛рд╣реА.
рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдорд▓реНрдЯреА-рдХреЛрд░ CPU рд╕рд╣ рд╕рд░реНрд╡реНрд╣рд░рд╡рд░ рдУрдкрдирд╕реНрдЯреЕрдХ рд╡реНрд╣рд░реНрдЪреНрдпреБрдЕрд▓рд╛рдпрдЭреЗрд╢рдирдЪреНрдпрд╛ рд╡рд╛рдкрд░рд╛рджреНрд╡рд╛рд░реЗ рд▓реЛрдб рд╡рд┐рддрд░рдгрд╛рддреАрд▓ рд╕рдорддреЛрд▓ рд╕рд╛рдзрд▓рд╛ рдЬрд╛рддреЛ. рдбреЗрдЯрд╛ рдиреЛрдбреНрд╕рдирд╛ рддреНрдпрд╛рдВрдЪреЗ рд╕реНрд╡рддрдГрдЪреЗ рдкреНрд░реЛрд╕реЗрд╕рд░ рд╕рдВрд╕рд╛рдзрдиреЗ рдЖрдгрд┐ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдбрд┐рд╕реНрдХ рд╡рд╛рдЯрдк рдХреЗрд▓реНрдпрд╛ рдЬрд╛рддрд╛рдд. рдЖрдордЪреНрдпрд╛ рдирд┐рд░реНрдгрдпрд╛рдд Atos рдХреЛрдбреЗрдХреНрд╕ рдбреЗрдЯрд╛ рд▓реЗрдХ рдЗрдВрдЬрд┐рди рд╡рд┐рд╕реНрддреГрдд рд╡рд░реНрдЪреНрдпреБрдЕрд▓рд╛рдпрдЭреЗрд╢рди рд╕рд╛рдзреНрдп рдХреЗрд▓реЗ рдЬрд╛рддреЗ, рдореНрд╣рдгреВрдирдЪ рдЖрдореНрд╣рд╛рд▓рд╛ рдХрд╛рд░реНрдпрдХреНрд╖рдорддреЗрдЪреНрдпрд╛ рджреГрд╖реНрдЯреАрдиреЗ (рдиреЗрдЯрд╡рд░реНрдХ рдЗрдиреНрдлреНрд░рд╛рд╕реНрдЯреНрд░рдХреНрдЪрд░рдЪрд╛ рдкреНрд░рднрд╛рд╡ рдХрдореА рдХреЗрд▓рд╛ рдЬрд╛рддреЛ) рдЖрдгрд┐ TCO (рдЕрддрд┐рд░рд┐рдХреНрдд рднреМрддрд┐рдХ рд╕рд░реНрд╡реНрд╣рд░ рдХрд╛рдвреВрди рдЯрд╛рдХрд▓реЗ рдЬрд╛рддрд╛рдд) рджреЛрдиреНрд╣реА рдмрд╛рдмрддреАрдд рдлрд╛рдпрджрд╛ рд╣реЛрддреЛ.
BullSequana S200 рд╕рд░реНрд╡реНрд╣рд░ рд╡рд╛рдкрд░рддрд╛рдирд╛, рдЖрдореНрд╣рд╛рд▓рд╛ рдХрд╛рд╣реА рдЕрдбрдерд│реЗ рдирд╕рд▓реЗрд▓реЗ рдПрдХрд╕рдорд╛рди рднрд╛рд░ рдорд┐рд│рддреЛ. рдХрд┐рдорд╛рди рдХреЙрдиреНрдлрд┐рдЧрд░реЗрд╢рдирдордзреНрдпреЗ 3 BullSequana S200 рд╕рд░реНрд╡реНрд╣рд░ рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдЖрд╣реЗрдд, рдкреНрд░рддреНрдпреЗрдХрд╛рдордзреНрдпреЗ рджреЛрди JBOD, рддрд╕реЗрдЪ рдЪрд╛рд░ рдбреЗрдЯрд╛ рдиреЛрдбреНрд╕ рдЕрд╕рд▓реЗрд▓реЗ рдЕрддрд┐рд░рд┐рдХреНрдд S200 рд╡реИрдХрд▓реНрдкрд┐рдХрд░рд┐рддреНрдпрд╛ рдХрдиреЗрдХреНрдЯ рдХреЗрд▓реЗрд▓реЗ рдЖрд╣реЗрдд. рдЯреЗрд░рд╛рдЬреЗрди рдЪрд╛рдЪрдгреАрдордзреАрд▓ рд▓реЛрдбрдЪреЗ рдЙрджрд╛рд╣рд░рдг рдпреЗрдереЗ рдЖрд╣реЗ:
рднрд┐рдиреНрди рдбреЗрдЯрд╛ рд╡реНрд╣реЙрд▓реНрдпреВрдо рдЖрдгрд┐ рдкреНрд░рддрд┐рдХреГрддреА рдореВрд▓реНрдпрд╛рдВрд╕рд╣ рдЪрд╛рдЪрдгреНрдпрд╛ рдХреНрд▓рд╕реНрдЯрд░ рдиреЛрдбреНрд╕ рджрд░рдореНрдпрд╛рди рд▓реЛрдб рд╡рд┐рддрд░рдгрд╛рдЪреНрдпрд╛ рдмрд╛рдмрддреАрдд рд╕рдорд╛рди рдкрд░рд┐рдгрд╛рдо рджрд░реНрд╢рд╡рддрд╛рдд. рдЦрд╛рд▓реА рдХрд╛рд░реНрдпрдкреНрд░рджрд░реНрд╢рди рдЪрд╛рдЪрдгреНрдпрд╛рдВрджреНрд╡рд╛рд░реЗ рдбрд┐рд╕реНрдХ рдкреНрд░рд╡реЗрд╢ рд╡рд┐рддрд░рдгрд╛рдЪрд╛ рдЖрд▓реЗрдЦ рдЖрд╣реЗ.
3 BullSequana S200 рд╕рд░реНрд╡реНрд╣рд░рдЪреНрдпрд╛ рдХрд┐рдорд╛рди рдХреЙрдиреНрдлрд┐рдЧрд░реЗрд╢рдирд╡рд░ рдЖрдзрд╛рд░рд┐рдд рдЧрдгрдирд╛ рдХреЗрд▓реА рдЧреЗрд▓реА. рдпрд╛рдд 9 рдбреЗрдЯрд╛ рдиреЛрдбреНрд╕ рдЖрдгрд┐ 3 рдорд╛рд╕реНрдЯрд░ рдиреЛрдбреНрд╕, рддрд╕реЗрдЪ рдУрдкрдирд╕реНрдЯреЕрдХ рд╡реНрд╣рд░реНрдЪреНрдпреБрдЕрд▓рд╛рдпрдЭреЗрд╢рдирд╡рд░ рдЖрдзрд╛рд░рд┐рдд рд╕рдВрд░рдХреНрд╖рдг рддреИрдирд╛рдд рдХрд░рдгреНрдпрд╛рдЪреНрдпрд╛ рдмрд╛рдмрддреАрдд рд░рд╛рдЦреАрд╡ рдЖрднрд╛рд╕реА рдорд╢реАрди рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдЖрд╣реЗрдд. TeraSort рдЪрд╛рдЪрдгреА рдирд┐рдХрд╛рд▓: рдмреНрд▓реЙрдХ рдЖрдХрд╛рд░ 512 MB рдкреНрд░рддрд┐рдХреГрддреА рдШрдЯрдХ рддреАрдирдЪреНрдпрд╛ рдмрд░реЛрдмрд░реАрдиреЗ рдПрдиреНрдХреНрд░рд┐рдкреНрд╢рдирд╕рд╣ 23,1 рдорд┐рдирд┐рдЯреЗ рдЖрд╣реЗ.
рдпрдВрддреНрд░рдгрд╛ рдХрд╢реА рд╡рд╛рдврд╡рддрд╛ рдпреЗрдИрд▓? рдбреЗрдЯрд╛ рд▓реЗрдХ рдЗрдВрдЬрд┐рдирд╕рд╛рдареА рд╡рд┐рд╡рд┐рдз рдкреНрд░рдХрд╛рд░рдЪреЗ рд╡рд┐рд╕реНрддрд╛рд░ рдЙрдкрд▓рдмреНрдз рдЖрд╣реЗрдд:
- рдбреЗрдЯрд╛ рдиреЛрдбреНрд╕: рдкреНрд░рддреНрдпреЗрдХ 40 TB рд╡рд╛рдкрд░рдгреНрдпрд╛рдпреЛрдЧреНрдп рдЬрд╛рдЧреЗрд╕рд╛рдареА
- GPU рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдгреНрдпрд╛рдЪреНрдпрд╛ рдХреНрд╖рдорддреЗрд╕рд╣ рд╡рд┐рд╢реНрд▓реЗрд╖рдгрд╛рддреНрдордХ рдиреЛрдбреНрд╕
- рд╡реНрдпрд╡рд╕рд╛рдпрд╛рдЪреНрдпрд╛ рдЧрд░рдЬреЗрдиреБрд╕рд╛рд░ рдЗрддрд░ рдкрд░реНрдпрд╛рдп (рдЙрджрд╛рд╣рд░рдгрд╛рд░реНрде, рдЬрд░ рддреБрдореНрд╣рд╛рд▓рд╛ рдХрд╛рдлреНрдХрд╛ рдЖрдгрд┐ рдпрд╛рд╕рд╛рд░рдЦреНрдпрд╛ рдЧреЛрд╖реНрдЯреАрдВрдЪреА рдЧрд░рдЬ рдЕрд╕реЗрд▓)
Atos Codex Data Lake Engine рдордзреНрдпреЗ рд╕реНрд╡рддрдГ рд╕рд░реНрд╡реНрд╣рд░ рдЖрдгрд┐ рдкрд░рд╡рд╛рдирд╛рдХреГрдд рдХреНрд▓рд╛рдЙрдбреЗрд░рд╛ рдХрд┐рдЯрд╕рд╣ рдкреВрд░реНрд╡-рд╕реНрдерд╛рдкрд┐рдд рд╕реЙрдлреНрдЯрд╡реЗрдЕрд░ рджреЛрдиреНрд╣реА рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдЖрд╣реЗрдд; Hadoop рд╕реНрд╡рддрдГ, RedHat Enterprise Linux рдХрд░реНрдирд▓, рдбреЗрдЯрд╛ рдкреНрд░рддрд┐рдХреГрддреА рдЖрдгрд┐ рдмреЕрдХрдЕрдк рд╕рд┐рд╕реНрдЯрдо (рдмреЕрдХрдЕрдк рдиреЛрдб рдЖрдгрд┐ Cloudera BDR - рдмреЕрдХрдЕрдк рдЖрдгрд┐ рдЖрдкрддреНрддреА рдкреБрдирд░реНрдкреНрд░рд╛рдкреНрддреА рд╡рд╛рдкрд░рдгреНрдпрд╛рд╕рд╣) рд╡рд░ рдЖрдзрд╛рд░рд┐рдд рдЖрднрд╛рд╕реА рдорд╢реАрдирд╕рд╣ OpenStack. Atos Codex Data Lake Engine рд╣реЗ рдкреНрд░рдорд╛рдгрд┐рдд рдХреЗрд▓реЗ рдЬрд╛рдгрд╛рд░реЗ рдкрд╣рд┐рд▓реЗ рдЖрднрд╛рд╕реАрдХрд░рдг рд╕рдорд╛рдзрд╛рди рдард░рд▓реЗ
рдЖрдкрд▓реНрдпрд╛рд▓рд╛ рддрдкрд╢реАрд▓рд╛рдВрдордзреНрдпреЗ рд╕реНрд╡рд╛рд░рд╕реНрдп рдЕрд╕рд▓реНрдпрд╛рд╕, рдЯрд┐рдкреНрдкрдгреНрдпрд╛рдВрдордзреНрдпреЗ рдЖрдордЪреНрдпрд╛ рдкреНрд░рд╢реНрдирд╛рдВрдЪреА рдЙрддреНрддрд░реЗ рджреЗрдгреНрдпрд╛рдд рдЖрдореНрд╣рд╛рд▓рд╛ рдЖрдирдВрдж рд╣реЛрдИрд▓.
рд╕реНрддреНрд░реЛрдд: www.habr.com