рдУрдкрдирдПрдирдПрдордЯреА реж.реирео.реж (рдУрдкрди рдиреНрдпреВрд░рд▓ рдорд╢реАрди рдЯреНрд░рд╛рдиреНрд╕рд▓реЗрд╢рди), рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдкрджреНрдзрддреА рд╡рд╛рдкрд░рдгрд╛рд░реА рдорд╢реАрди рдЯреНрд░рд╛рдиреНрд╕рд▓реЗрд╢рди рд╕рд┐рд╕реНрдЯрдо, рд░рд┐рд▓реАрдЬ рдХрд░рдгреНрдпрд╛рдд рдЖрд▓реА рдЖрд╣реЗ. рд╣рд╛ рдкреНрд░рдХрд▓реНрдк рдЯреЗрдиреНрд╕рд░рдлреНрд▓реЛ рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рд▓рд╛рдпрдмреНрд░рд░реАрдЪрд╛ рд╡рд╛рдкрд░ рдХрд░реВрди рддреНрдпрд╛рдЪреЗ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рддрдпрд╛рд░ рдХрд░рддреЛ. рдУрдкрдирдПрдирдПрдордЯреА рдкреНрд░реЛрдЬреЗрдХреНрдЯрдиреЗ рд╡рд┐рдХрд╕рд┐рдд рдХреЗрд▓реЗрд▓реНрдпрд╛ рдореЙрдбреНрдпреВрд▓реНрд╕рдЪрд╛ рдХреЛрдб рдкрд╛рдпрдереЙрдирдордзреНрдпреЗ рд▓рд┐рд╣рд┐рд▓реЗрд▓рд╛ рдЖрд╣реЗ рдЖрдгрд┐ рдПрдордЖрдпрдЯреА рдкрд░рд╡рд╛рдиреНрдпрд╛рдЕрдВрддрд░реНрдЧрдд рд╡рд┐рддрд░рд┐рдд рдХреЗрд▓рд╛ рдЖрд╣реЗ. рдЗрдВрдЧреНрд░рдЬреА, рдЬрд░реНрдорди рдЖрдгрд┐ рдХреЕрдЯрд▓рд╛рдирд╕рд╛рдареА рдкреВрд░реНрд╡-рдирд┐рд░реНрдорд┐рдд рдореЙрдбреЗрд▓ рдЙрдкрд▓рдмреНрдз рдЖрд╣реЗрдд. рдЗрддрд░ рднрд╛рд╖рд╛рдВрд╕рд╛рдареА, рддреБрдореНрд╣реА рдУрдкрд╕ рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдбреЗрдЯрд╛рд╕реЗрдЯ рд╡рд╛рдкрд░реВрди рддреБрдордЪреЗ рд╕реНрд╡рддрдГрдЪреЗ рдореЙрдбреЗрд▓ рддрдпрд╛рд░ рдХрд░реВ рд╢рдХрддрд╛. рд╕рд┐рд╕реНрдЯрдорд▓рд╛ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рджреЗрдгреНрдпрд╛рд╕рд╛рдареА рджреЛрди рдлрд╛рдпрд▓реА рдкреНрд░рджрд╛рди рдХреЗрд▓реНрдпрд╛ рдЖрд╣реЗрдд: рдПрдХ рд╕реНрддреНрд░реЛрдд рднрд╛рд╖реЗрддреАрд▓ рд╡рд╛рдХреНрдпрд╛рдВрд╕рд╣ рдЖрдгрд┐ рджреБрд╕рд░реА рд▓рдХреНрд╖реНрдп рднрд╛рд╖реЗрдд рдпрд╛ рд╡рд╛рдХреНрдпрд╛рдВрдЪреЗ рдЙрдЪреНрдЪ-рдЧреБрдгрд╡рддреНрддреЗрдЪреЗ рднрд╛рд╖рд╛рдВрддрд░ рдЕрд╕рд▓реЗрд▓реЗ.
рдорд╢реАрди рдЯреНрд░рд╛рдиреНрд╕рд▓реЗрд╢рди рдЯреВрд▓реНрд╕рдордзреНрдпреЗ рд╡рд┐рд╢реЗрд╖рдЬреНрдЮрддрд╛ рдЕрд╕рд▓реЗрд▓реА рдХрдВрдкрдиреА SYSTRAN рдЖрдгрд┐ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рд╕рд┐рд╕реНрдЯрдорд╕рд╛рдареА рдорд╛рдирд╡реА рднрд╛рд╖рд╛ рдореЙрдбреЗрд▓ рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдгрд╛рд▒реНрдпрд╛ рд╣рд╛рд░реНрд╡рд░реНрдб рд╕рдВрд╢реЛрдзрдХрд╛рдВрдЪреНрдпрд╛ рдЧрдЯрд╛рдЪреНрдпрд╛ рд╕рд╣рднрд╛рдЧрд╛рдиреЗ рд╣рд╛ рдкреНрд░рдХрд▓реНрдк рд╡рд┐рдХрд╕рд┐рдд рдХреЗрд▓рд╛ рдЬрд╛рдд рдЖрд╣реЗ. рд╡рд╛рдкрд░рдХрд░реНрддрд╛ рдЗрдВрдЯрд░рдлреЗрд╕ рдЕрддреНрдпрдВрдд рд╕реЛрдкрд╛ рдЖрд╣реЗ, рдЬреНрдпрд╛рдордзреНрдпреЗ рдлрдХреНрдд рдЗрдирдкреБрдЯ рдЯреЗрдХреНрд╕реНрдЯ рдлрд╛рдЗрд▓ рдЖрдгрд┐ рдкрд░рд┐рдгрд╛рдореА рдлрд╛рдЗрд▓ рд╕реЗрд╡реНрд╣ рдХрд░рдгреЗ рдЖрд╡рд╢реНрдпрдХ рдЖрд╣реЗ. рдПрдХ рдПрдХреНрд╕рдЯреЗрдВрд╢рди рд╕рд┐рд╕реНрдЯрдо OpenNMT рд╡реНрдпрддрд┐рд░рд┐рдХреНрдд рдСрдЯреЛ-рд╕рд╛рд░рд╛рдВрд╢, рдЯреЗрдХреНрд╕реНрдЯ рд╡рд░реНрдЧреАрдХрд░рдг рдЖрдгрд┐ рд╕рдмрдЯрд╛рдпрдЯрд▓рд┐рдВрдЧ рд╕рд╛рд░рдЦреНрдпрд╛ рдЕрддрд┐рд░рд┐рдХреНрдд рдХрд╛рд░реНрдпрдХреНрд╖рдорддреЗрдЪреНрдпрд╛ рдЕрдВрдорд▓рдмрдЬрд╛рд╡рдгреАрд╕ рдЕрдиреБрдорддреА рджреЗрддреЗ.
рдЯреЗрдиреНрд╕рд░рдлреНрд▓реЛ рд╡рд╛рдкрд░рд▓реНрдпрд╛рдиреЗ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд░рд╢рд┐рдХреНрд╖рдгрд╛рд▓рд╛ рдЧрддреА рджреЗрдгреНрдпрд╛рд╕рд╛рдареА GPU рдХреНрд╖рдорддрд╛рдВрдЪрд╛ рд╡рд╛рдкрд░ рдХрд░рдгреЗ рд╢рдХреНрдп рд╣реЛрддреЗ. рд╡рд┐рддрд░рдг рд╕реЛрдкреЗ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА, рдкреНрд░рдХрд▓реНрдк рдПрдХ рд╕реНрд╡рдпрдВрдкреВрд░реНрдг C++ рдЕрдиреБрд╡рд╛рджрдХтАФCTranslate2тАФ рджреЗрдЦреАрд▓ рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдд рдЖрд╣реЗ рдЬреЛ рдЕрддрд┐рд░рд┐рдХреНрдд рдЕрд╡рд▓рдВрдмрд┐рддреНрд╡рд╛рдВрдЪреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рди рдШреЗрддрд╛ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдореЙрдбреЗрд▓реНрд╕ рд╡рд╛рдкрд░рддреЛ.
рдирд╡реАрди рдЖрд╡реГрддреНрддреАрдордзреНрдпреЗ initial_learning_rate рдкреЕрд░рд╛рдореАрдЯрд░ рдЬреЛрдбрд▓рд╛ рдЖрд╣реЗ рдЖрдгрд┐ рдЯреНрд░рд╛рдиреНрд╕рдлреЙрд░реНрдорд░ рдореЙрдбреЗрд▓ рдЬрдирд░реЗрдЯрд░ рдХреЙрдиреНрдлрд┐рдЧрд░ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдЕрдиреЗрдХ рдирд╡реАрди рдпреБрдХреНрддрд┐рд╡рд╛рдж (mha_bias рдЖрдгрд┐ output_layer_bias) рд▓рд╛рдЧреВ рдХреЗрд▓реЗ рдЖрд╣реЗрдд. рдЗрддрд░ рдмрдЧ рдлрд┐рдХреНрд╕реЗрд╕ рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдЖрд╣реЗрдд.
рд╕реНрддреНрд░реЛрдд: opennet.ru
