Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Salama daholo! Sasha no anarako, CTO & Co-Founder ao amin'ny LoyaltyLab aho. Roa taona lasa izay, izaho sy ny namako, toy ny mpianatra mahantra rehetra, dia nandeha nividy labiera tamin'ny hariva tamin'ny fivarotana akaiky indrindra akaikin'ny tranonay. Tena sosotra izahay fa ilay mpivarotra, nahafantatra fa ho avy hividy labiera izahay, dia tsy nanome fihenam-bidy amin'ny chips na crackers, na dia mitombina aza izany! Tsy azonay ny antony nitrangan'izany toe-javatra izany ary nanapa-kevitra ny hanangana ny orinasanay manokana izahay. Eny, ho tombony, manome fihenam-bidy isaky ny zoma amin'ireo chips ireo.

Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Ary izany rehetra izany dia tonga amin'ny teboka izay anehoako ny fitaovana momba ny lafiny ara-teknika amin'ny vokatra NVIDIA GTC. Faly izahay mizara ny asantsika amin’ny fiaraha-monina, ka avoakako amin’ny endrika lahatsoratra ny tatitra nataoko.

fampidirana

Tahaka ny olon-drehetra teo am-piandohan'ny dia, dia nanomboka tamin'ny topimaso momba ny fomba nanaovana ny rafitra mpanao soso-kevitra izahay. Ary ny maritrano malaza indrindra dia nivadika ho karazana manaraka:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Misy ampahany roa izy io:

  1. Maka santionany ho an'ny tolo-kevitra amin'ny fampiasana modely tsotra sy haingana, matetika ny fiaraha-miasa.
  2. Filaharana ny kandidà manana modely votoaty sarotra sy miadana kokoa, amin'ny fiheverana ny endri-javatra rehetra azo atao amin'ny angon-drakitra.

Avy eo dia hampiasa ireto teny manaraka ireto aho:

  • kandidà / kandidà amin'ny fanolorana - mpivady mpampiasa-vokatra izay mety ho tafiditra ao anatin'ny tolo-kevitra amin'ny famokarana.
  • fomba fitrandrahana kandida/mpanangona/mpirotsaka - dingana na fomba hanesorana ireo "kandidà fanolorana" avy amin'ny angona misy.

Ny dingana voalohany dia matetika tafiditra amin'ny fampiasana karazany samihafa amin'ny sivana fiaraha-miasa. Ny malaza indrindra - ALS. Mahagaga fa ny ankamaroan'ny lahatsoratra momba ny rafitra mpanome soso-kevitra dia manambara fanatsarana isan-karazany amin'ny modely fiaraha-miasa amin'ny dingana voalohany, saingy tsy misy miresaka betsaka momba ny fomba fanaovana santionany hafa. Aminay, ny fomba fampiasana modely fiaraha-miasa sy fanatsarana isan-karazany miaraka amin'izy ireo dia tsy nety tamin'ny kalitao izay nantenainay, noho izany dia nikaroka manokana momba ity ampahany ity izahay. Ary amin'ny faran'ny lahatsoratra dia hasehoko ny halehiben'ny fahafahantsika nanatsara ny ALS, izay fototra niorenantsika.

Alohan'ny handrosoako amin'ny famaritana ny fomba fiasantsika dia zava-dehibe ny manamarika fa amin'ny tolo-kevitra amin'ny fotoana tena izy, rehefa zava-dehibe ho antsika ny mandinika ny angon-drakitra nitranga 30 minitra lasa izay, dia tsy dia misy fomba maro izay afaka miasa amin'ny fotoana takiana. Saingy, amin'ny tranga misy antsika, tsy maintsy manangona tolo-kevitra tsy mihoatra ny indray mandeha isan'andro isika, ary amin'ny ankamaroan'ny tranga - indray mandeha isan-kerinandro, izay manome antsika fahafahana hampiasa modely sarotra sy hanatsara ny kalitao imbetsaka.

Andeha horaisintsika ho toy ny fototra izay metrika asehon'ny ALS amin'ny andraikitry ny fakana kandidà. Ny metrika fototra arahintsika dia:

  • Precision - ny ampahany amin'ireo kandidà voafantina tsara avy amin'ireo santionany.
  • Ny fampahatsiahivana dia ny isan'ireo kandidà nitranga tamin'ireo izay tena tao anatin'ny elanelam-potoana kendrena.
  • F1-sora - F-fandrefesana kajy amin'ireo teboka roa teo aloha.

Hojerentsika ihany koa ny metrika amin'ny maodely farany aorian'ny fanofanana ny gradient fampiroboroboana miaraka amin'ireo endri-javatra fanampiny. Misy metric 3 lehibe koa eto:

  • precision@5 - ny isan-jaton'ny vokatra avy amin'ny 5 ambony amin'ny lafiny mety ho an'ny mpividy tsirairay.
  • response-rate@5 - fiovam-pon'ny mpanjifa avy amin'ny fitsidihana ny fivarotana ho amin'ny fividianana tolotra manokana iray farafahakeliny (vokatra 5 amin'ny tolotra iray).
  • avg roc-auc isaky ny mpampiasa - salan'isa roc-auc ho an'ny mpividy tsirairay.

Zava-dehibe ny manamarika fa ireo metrika rehetra ireo dia refesina fanamarinan'ny andiam-potoana, izany hoe, ao anatin'ny herinandro k voalohany ny fiofanana, ary ny herinandro k+1 dia raisina ho angona fitsapana. Noho izany, ny fisondrotry ny vanim-potoana dia nisy fiantraikany kely tamin'ny fandikana ny kalitaon'ny modely. Eo amin'ny sary rehetra, ny axe abscissa dia hanondro ny laharan'ny herinandro ao amin'ny cross-validation, ary ny axe ordinate dia hanondro ny sandan'ny metrika voatondro. Ny grafika rehetra dia mifototra amin'ny angon-drakitra avy amin'ny mpanjifa iray mba ho marina ny fampitahana.

Alohan'ny hanombohantsika mamaritra ny fomba fiasantsika dia mijery ny baseline isika, izay maodely voaofana ALS.
Metrika fakana ny kandida:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Metrika farany:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Raisiko ho karazana petra-kevitra ara-barotra ny fampiharana ny algorithm rehetra. Noho izany, amin'ny ankapobeny, ny modely fiaraha-miasa rehetra dia azo raisina ho toy ny fiheverana fa "ny olona dia mirona hividy izay vidian'ny olona mitovy aminy." Araka ny efa nolazaiko dia tsy nametra ny tenantsika ho amin'ny semantika toy izany izahay, ary ireto misy petra-kevitra izay miasa tsara amin'ny angon-drakitra amin'ny fivarotana an-tserasera:

  1. Izay efa novidiko teo aloha.
  2. Mitovy amin'ilay novidiko teo aloha.
  3. Vanim-potoana nividianana efa ela.
  4. Malaza amin'ny sokajy/marika.
  5. Fividianana entana samihafa isan-kerinandro (Rojo Markov).
  6. Ny vokatra mitovy amin'ny mpividy, araka ny toetra naorin'ny modely samihafa (Word2Vec, DSSM, sns.).

Inona no novidinao taloha?

Ny heuristic miharihary indrindra izay miasa tsara amin'ny fivarotana enta-madinika. Eto isika dia maka ny entana rehetra novidin'ny tompon'ny karatra mahatoky tamin'ny andro K farany (matetika 1-3 herinandro), na andro K herintaona lasa izay. Amin'ny fampiharana ity fomba ity ihany, dia mahazo ireto metrika manaraka ireto isika:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Eto dia tena miharihary fa arakaraky ny halavantsika ny fe-potoana, ny fitadidiana bebe kokoa ananantsika ary ny tsy dia mazava loatra ananantsika ary ny mifamadika amin'izany. Amin'ny ankapobeny, ny "2 herinandro farany" dia manome vokatra tsara kokoa ho an'ny mpanjifa.

Mitovy amin'ilay novidiko teo aloha

Tsy mahagaga raha miasa tsara ho an'ny fivarotana entam-barotra "izay novidiko teo aloha", fa ny fakana ireo kandidà avy amin'ny zavatra efa novidian'ny mpampiasa dia tsy tena mahafinaritra, satria tsy azo inoana fa hahagaga ny mpividy amin'ny vokatra vaovao. Noho izany, manolotra soso-kevitra hanatsara kely ity heuristic ity izahay amin'ny fampiasana ireo modely fiaraha-miasa mitovy. Avy amin'ireo vector azonay nandritra ny fiofanana ALS, dia afaka mahazo vokatra mitovy amin'izay efa novidian'ny mpampiasa izahay. Ity hevitra ity dia tena mitovy amin'ny "video mitovitovy" amin'ny serivisy hijerena votoaty video, saingy satria tsy fantatsika izay hohanin'ny mpampiasa amin'ny fotoana iray manokana, dia tsy afaka mitady afa-tsy izay mitovy amin'izay efa novidiny isika, indrindra fa satria efa fantatsika ny fomba fiasany. Amin'ny fampiharana ity fomba ity amin'ny fifampiraharahana amin'ny mpampiasa nandritra ny 2 herinandro farany, dia mahazo ireto metrika manaraka ireto izahay:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

izany k — ny isan'ny vokatra mitovitovy nalaina ho an'ny vokatra tsirairay novidin'ny mpividy tao anatin'ny 14 andro farany.
Ity fomba fiasa ity dia niasa tsara indrindra ho an'ny mpanjifanay, izay nanakiana ny tsy nanolorana zavatra efa tao amin'ny tantaran'ny fividianana ny mpampiasa.

Tara fotoana fividianana

Araka ny efa hitantsika, noho ny fahamaroan'ny fividianana entana, ny fomba voalohany dia miasa tsara amin'ny filantsika manokana. Fa ahoana kosa ny entana toy ny vovon-tsavony/shampoo/sns. Izany hoe, miaraka amin'ny vokatra izay tsy azo inoana fa ilaina isan-kerinandro na roa ary ny fomba teo aloha dia tsy azo alaina. Izany dia mitarika amin'ity hevitra manaraka ity - atolotra ny kajy ny vanim-potoana fividianana ny vokatra tsirairay amin'ny salan'isa ho an'ny mpanjifa izay nividy ny vokatra bebe kokoa k indray mandeha. Ary alaivo avy eo izay efa lany ny mpividy. Ny fe-potoana kajy ho an'ny entana dia azo jerena amin'ny masonao ho an'ny fahatomombanana:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Ary avy eo dia hojerentsika raha ny faran'ny vanim-potoanan'ny vokatra dia latsaka ao anatin'ny elanelan'ny fotoana hahatongavan'ny tolo-kevitra amin'ny famokarana ary santionany ny zava-mitranga. Ny fomba fiasa dia azo aseho toy izao:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Ireto misy tranga 2 lehibe azo dinihina:

  1. Ilaina ve ny maka santionany vokatra avy amin'ny mpanjifa izay nividy ny vokatra latsaky ny K in.
  2. Ilaina ve ny maka santionany vokatra raha toa ka latsaka alohan'ny fiandohan'ny elanelam-potoana kendrena ny faran'ny vanim-potoanany.

Ity tabilao manaraka ity dia mampiseho ny vokatra azon'ity fomba ity amin'ny hyperparameter samihafa:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
ft - Raiso ihany ny mpanjifa izay nividy ny vokatra farafahakeliny K (eto K=5).
tm - Raiso ihany ireo kandidà izay tafiditra ao anatin'ny elanelan'ny kendrena

Tsy mahagaga raha mahavita izy (0, 0) lehibe indrindra Tadidio ary ny kely indrindra fametrahana mazava tsara, satria ao anatin'izany toe-javatra izany dia azo alaina ny ankamaroan'ny kandidà. Na izany aza, ny vokatra tsara indrindra dia azo rehefa tsy maka santionany vokatra ho an'ny mpanjifa izay nividy vokatra manokana latsaky ny k fotoana sy fitrandrahana, anisan'izany ny entana, ny fiafaran'ny fe-potoana izay latsaka alohan'ny elanelam-potoana kendrena.

Malaza amin'ny sokajy

Hevitra iray hafa mazava tsara dia ny maka santionany vokatra malaza amin'ny sokajy na marika samihafa. Eto izahay dia manao kajy ho an'ny mpividy tsirairay top-k sokajy/marika “favori” ary esory ny “malaza” amin'ity sokajy/marika ity. Amin'ny tranga misy antsika dia hamaritra ny "tia" sy "malaza" amin'ny isan'ny fividianana ny vokatra isika. Ny tombony fanampiny amin'ity fomba ity dia ny fampiharana azy amin'ny tranga fanombohana mangatsiaka. Izany hoe, ho an’ireo mpanjifa izay efa nividy vitsy dia vitsy, na efa ela no tsy tonga tany amin’ny magazay, na vao namoaka carte de loyalty. Ho azy ireo dia mora kokoa sy tsara kokoa ny mitahiry entana malaza amin'ny mpanjifa ary manana tantara. Ny metric vokatra dia:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
Eto ny isa aorian'ny teny hoe "sokajy" dia midika ny haavon'ny akany ny sokajy.

Amin'ny ankapobeny, tsy mahagaga ihany koa raha mahazo vokatra tsara kokoa ny sokajy tery kokoa, satria izy ireo dia mamoaka vokatra "favori" marina kokoa ho an'ny mpividy.

Fividianana entana isan-karazany isan-kerinandro

Ny fomba fiasa mahaliana izay tsy hitako tao amin'ny lahatsoratra momba ny rafi-panoloran-kevitra dia fomba tsotra sy miasa amin'ny statistika an'ny rojo Markov. Eto izahay dia maka herinandro 2 samihafa, avy eo amin'ny mpanjifa tsirairay dia manamboatra vokatra tsiroaroa [nividy tamin'ny herinandro i]-[nividy tamin'ny herinandro j], izay j > i, ary avy eto dia kajy ho an'ny vokatra tsirairay ny mety hifindra amin'ny vokatra hafa amin'ny herinandro ho avy. Izany hoe, ho an'ny entana tsiroaroa producti-productj Manisa ny isan'izy ireo amin'ny tsiroaroa hita izahay ary mizara amin'ny isan'ny tsiroaroa, aiza Products dia tamin'ny herinandro voalohany. Mba hanesorana ireo kandidà dia alainay ny tapakila farany an'ny mpividy ary alainay top-k ny vokatra manaraka azo inoana indrindra avy amin'ny matrix tetezamita azonay. Toy izao ny fizotran'ny fananganana matrix transition:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Avy amin'ny ohatra tena izy ao amin'ny matrix probability transition dia hitantsika ireto tranga mahaliana manaraka ireto:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
Eto ianao dia afaka mahita ny fiankinan-doha mahaliana izay aseho amin'ny fitondran-tenan'ny mpanjifa: ohatra, ireo tia voankazo citrus na marika ronono izay mety hifindrany amin'ny hafa. Tsy mahagaga ihany koa raha miafara eto ihany koa ny vokatra miverimberina matetika toy ny dibera.

Ny metrika amin'ny fomba miaraka amin'ny rojo Markov dia toy izao manaraka izao:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
k - ny isan'ny vokatra azo amin'ny vokatra novidina tsirairay avy amin'ny fifampiraharahana farany nataon'ny mpividy.
Araka ny hitantsika, ny vokatra tsara indrindra dia aseho amin'ny fanamafisana miaraka amin'ny k = 4. Ny spike amin'ny herinandro 4 dia azo hazavaina amin'ny fitondran-tena isan-taona manodidina ny fialantsasatra. 

Ny vokatra mitovy amin'ny mpividy, araka ny toetra naorin'ny modely samihafa

Ankehitriny dia tonga amin'ny ampahany sarotra sy mahaliana indrindra isika - mitady mpifanolo-bodirindrina akaiky indrindra mifototra amin'ny vectors ny mpanjifa sy ny vokatra namboarina araka ny modely isan-karazany. Amin'ny asantsika dia mampiasa modely 3 toy izao izahay:

  • ALS
  • Word2Vec (Item2Vec ho an'ny asa toy izany)
  • DSSM

Efa niatrika ny ALS izahay, azonao vakiana ny fomba ianarany eto. Amin'ny tranga Word2Vec, mampiasa ny fampiharana malaza amin'ny modely avy amin'ny gensim. Amin'ny alàlan'ny fanoharana amin'ireo lahatsoratra dia faritanay ho toy ny tapakila fividianana ilay tolotra. Noho izany, rehefa manorina vector vokatra, ny modely dia mianatra maminavina ny vokatra ao amin'ny fandraisana ny "contexte" (ny vokatra sisa ao amin'ny rosia). Amin'ny angon-drakitra e-varotra, tsara kokoa ny mampiasa ny fotoam-pivorian'ny mpividy fa tsy tapakila; balon. Ary ny DSSM dia mahaliana kokoa ny manadihady. Tamin'ny voalohany, nosoratan'ireo lehilahy avy amin'ny Microsoft ho modely amin'ny fikarohana, Azonao atao ny mamaky ny taratasy fikarohana tany am-boalohany eto. Ny Architecture ny modely dia toy izao manaraka izao:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

izany Q - fanontaniana, fikarohan'ny mpampiasa, D[i] — antontan-taratasy, pejy Internet. Ny fidirana amin'ny modely dia ny toetran'ny fangatahana sy ny pejy, tsirairay avy. Aorian'ny sosona fampidirana tsirairay dia misy sosona maromaro mifandray tanteraka (perceptron multilayer). Manaraka izany dia mianatra manamaivana ny cosine eo anelanelan'ny vector azo amin'ny sosona farany amin'ny maodely ilay modely.
Ny asa fanolorana dia mampiasa maritrano mitovy tanteraka, raha tokony ho fangatahana dia misy mpampiasa, ary ho solon'ny pejy dia misy vokatra. Ary amin'ny tranga misy antsika dia niova ho toy izao manaraka izao ity maritrano ity:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Amin'izao fotoana izao, mba hanamarinana ny valiny, dia mijanona ny mandrakotra ny teboka farany - raha ao amin'ny tranga ALS sy DSSM dia voafaritra mazava tsara ny vectors mpampiasa, dia ny Word2Vec ihany no manana vectors vokatra. Eto, mba hananganana ny vector mpampiasa, dia namaritra fomba fiasa 3 lehibe izahay:

  1. Ampio fotsiny ny vectors, dia ho an'ny halaviran'ny cosine dia hita fa nanao salan'isa fotsiny ny vokatra tamin'ny tantaran'ny fividianana.
  2. Famintinana Vector miaraka amin'ny lanja fotoana kely.
  3. Fandanjana entana miaraka amin'ny coefficient TF-IDF.

Raha ny lanjan'ny tsipika amin'ny vector mpividy, dia miainga avy amin'ny fiheverana fa ny vokatra novidin'ny mpampiasa omaly dia misy fiantraikany lehibe kokoa amin'ny fitondran-tenany noho ny vokatra novidiny enim-bolana lasa izay. Noho izany dia heverintsika amin'ny herinandro lasa ny mpividy miaraka amin'ny 1, ary ny zava-nitranga manaraka tamin'ny ½, ⅓, sns.:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Ho an'ny coefficients TF-IDF, dia mitovy tanteraka amin'ny ao amin'ny TF-IDF ho an'ny lahatsoratra isika, ny mpividy ihany no heverintsika ho toy ny antontan-taratasy, ary ny fanamarinana ho toy ny tolotra, tsirairay avy, ny teny dia vokatra. Amin'izany fomba izany, ny vector an'ny mpampiasa dia hifindra bebe kokoa mankany amin'ny entana tsy fahita firy, fa ny entana matetika sy mahazatra ho an'ny mpividy dia tsy hanova izany firy. Ny fomba fiasa dia azo aseho toy izao:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Andeha hojerentsika ny metrika. Toy izao ny valin'ny ALS:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
Metrics ho an'ny Item2Vec miaraka amin'ny fiovaovana samihafa amin'ny fananganana ny vector mpividy:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
Amin'ity tranga ity, modely mitovy tanteraka no ampiasaina amin'ny fototra. Ny hany mahasamihafa azy dia izay k hampiasaintsika. Mba hampiasana modely fiaraha-miasa ihany, dia tsy maintsy maka 50-70 eo ho eo ny vokatra akaiky indrindra ho an'ny mpanjifa tsirairay.

Ary ny metrika araka ny DSSM:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Ahoana no hanambatra ny fomba rehetra?

Mangatsiatsiaka, hoy ianao, fa inona no hatao amin'ny karazana fitaovana fitrandrahana kandida? Ahoana ny fomba hifidianana ny fikirakirana tsara indrindra ho an'ny angonao? Manana olana maromaro izahay eto:

  1. Ilaina ny mametra ny habaka fikarohana ho an'ny hyperparameter amin'ny fomba tsirairay. Mazava ho azy fa discrete na aiza na aiza, fa ny isan'ny teboka azo atao dia tena lehibe.
  2. Amin'ny fampiasana santionany kely voafetra amin'ny fomba manokana miaraka amin'ny hyperparameter manokana, ahoana no ahafahanao misafidy ny tefy tsara indrindra ho an'ny metrikao?

Mbola tsy nahita valiny marina amin'ny fanontaniana voalohany izahay, ka miroso amin'ireto manaraka ireto: ho an'ny fomba tsirairay, misy fetran'ny habaka fikarohana hyperparameter voasoratra, miankina amin'ny antontan'isa sasany momba ny angona ananantsika. Noho izany, amin'ny fahafantarana ny vanim-potoana eo anelanelan'ny fividianana avy amin'ny olona, ​​​​dia afaka maminavina amin'ny vanim-potoana inona no hampiasana ny fomba "izay efa novidina" sy ny "fotoan'ny fividianana efa ela".

Ary rehefa avy nandalo fiovaovan'ny fomba isan-karazany isika, dia manamarika izao manaraka izao: ny fampiharana tsirairay dia mamoaka kandidà maromaro ary manana sanda manokana amin'ny metrika fototra ho antsika (fahatsiarovana). Te-hahazo mpilatsaka hofidina maromaro izahay, miankina amin'ny herin'ny informatika azo atao, miaraka amin'ny metrika avo indrindra. Eto ny olana dia mirodana tsara amin'ny olan'ny kitapo.
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Eto ny isan'ny mpilatsaka hofidina dia ny lanjan'ny ingot, ary ny fomba fitadidiana dia ny sandany. Na izany aza, misy teboka 2 hafa tokony hodinihina rehefa mampihatra ny algorithm:

  • Ny fomba dia mety mifanipaka amin'ireo kandidà alainy.
  • Amin'ny toe-javatra sasany, dia mety ny maka fomba iray indroa miaraka amin'ny mason-tsivana samihafa, ary ny vokatra avy amin'ny kandidà avy amin'ny voalohany dia tsy ho ampahany amin'ny faharoa.

Ohatra, raha raisintsika ny fampiharana ny fomba "izay efa novidiko" miaraka amin'ny elanelana samihafa amin'ny fakana sary, dia hifamatotra ao anatin'ny iray ny andiam-pandaharan'izy ireo. Mandritra izany fotoana izany, ny paramètre samihafa amin'ny "fividianana ara-potoana" amin'ny fivoahana dia tsy manome fifanenana feno. Noho izany, zarainay ho bloc ny fomba fanaovana santionany miaraka amin'ny masontsivana samihafa ka amin'ny sakana tsirairay dia tiantsika ny haka fomba fitrandrahana iray miaraka amin'ny hyperparameter manokana. Mba hanaovana izany, dia mila mahay kely amin'ny fampiharana ny olana knapsack, fa ny asymptotics sy ny vokany dia tsy hiova.

Ity fitambarana hendry ity dia ahafahantsika mahazo ireto metrika manaraka ireto raha ampitahaina amin'ny maodely miara-miasa tsotra:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
Ao amin'ny metrika farany dia hitantsika ity sary manaraka ity:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Na izany aza, eto ianao dia afaka mahatsikaritra fa misy teboka iray tsy hita maso ho an'ny tolo-kevitra mahasoa ho an'ny orinasa. Ankehitriny isika dia nianatra ny fomba fanaovana asa lehibe amin'ny faminaniany izay hovidin'ny mpampiasa, ohatra, amin'ny herinandro ho avy. Fa ny fanomezana fihenam-bidy fotsiny amin'ny zavatra efa hovidiny dia tsy dia mahafinaritra. Saingy mahafinaritra ny mampitombo ny andrasana, ohatra, amin'ireto metrika manaraka ireto:

  1. Margin/fihodinana mifototra amin'ny tolo-kevitra manokana.
  2. Fanamarinan'ny mpanjifa antonony.
  3. Matetika ny fitsidihana.

Noho izany dia ampitombointsika amin'ny coefficients samihafa ny probabilité azo ary avereno amboarina mba hahatongavan'ireo vokatra misy fiantraikany amin'ny metrika etsy ambony. Tsy misy vahaolana efa vita izay fomba tsara indrindra hampiasaina. Manandrana mihitsy aza ny coefficient toy izany mivantana amin'ny famokarana. Fa ireto misy teknika mahaliana izay matetika manome antsika vokatra tsara indrindra:

  1. Ampitomboy amin'ny vidin'ny vokatra.
  2. Ampitomboy amin'ny salanisan'ny tapakila misy ny vokatra. Ho avy àry ny entana, izay mazàna no makany zavatra hafa.
  3. Ampitomboy amin'ny salan'isan'ny fitsidihan'ny mpividy an'io vokatra io, mifototra amin'ny vinavina fa io vokatra io dia mamporisika ny olona hiverina aminy matetika kokoa.

Taorian'ny fanandramana tamin'ny coefficients dia nahazo ireto metrika manaraka ireto izahay amin'ny famokarana:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera
izany vokatra ankapobeny fiovam-po - ny anjaran'ny vokatra novidina amin'ny vokatra rehetra ao amin'ny tolo-kevitra novokarinay.

Ny mpamaky mahay dia hahatsikaritra fahasamihafana lehibe eo amin'ny metrika an-tserasera sy an-tserasera. Ity fihetsika ity dia hazavaina amin'ny hoe tsy ny sivana mavitrika rehetra ho an'ny vokatra azo atolotra dia azo raisina rehefa manofana ny modely. Aminay, tantara mahazatra izany rehefa azo voasivana ny antsasaky ny kandidà azo voasivana; mahazatra amin'ny indostrianay izany manokana izany.

Raha resaka vola miditra dia azo ity tantara manaraka ity, mazava ho azy fa taorian'ny nanombohan'ny tolo-kevitra dia mitombo be ny fidiram-bolan'ny vondrona fitsapana, ankehitriny ny salan'isa amin'ny fidiram-bola miaraka amin'ny soso-kevitray dia 3-4%:
Ahoana no nanatsaranay ny kalitaon'ny tolo-kevitra amin'ny fivarotana an-tserasera

Ho fehin-kevitra, tiako ny milaza fa raha mila tolo-kevitra tsy amin'ny fotoana tena izy ianao, dia mety hisy fitomboana be dia be amin'ny kalitao amin'ny andrana amin'ny fitrandrahana kandidà ho an'ny tolo-kevitra. Ny fotoana be dia be ho an'ny taranany dia ahafahana manambatra fomba tsara maro, izay amin'ny fitambarany dia hanome vokatra tsara ho an'ny orinasa.

Ho faly aho hiresaka amin'ny fanehoan-kevitra amin'izay rehetra mahita ny fitaovana mahaliana. Afaka mametraka fanontaniana amiko manokana ianao ao amin'ny telegrama. Mizara ny eritreritro momba ny AI / fanombohana ao amin'ny ahy ihany koa aho fantsona telegrama - tongasoa :)

Source: www.habr.com

Add a comment