Magna Hadron Collider et Odnoklassniki

Thema apparatus studiorum certationis in Habre continuans, lectores ad duo plura tabulata introducere velimus. Sunt certe non tam immanes quam kaggle, sed certo attentione merentur.

Magna Hadron Collider et Odnoklassniki

Personaliter, multis de causis nimium non amo;

  • Uno modo, certationes ibi per plures menses saepe durant, et actuosa participatio multum laboris requirit;
  • secundo, de nucleis publicis. Kaggle assentientes monent ut de tranquillitate monachorum Tibetani tractantes, re vera satis pudendum est cum aliquid ad mensem vel duos subito laborasti, ut omnibus patella in argenteo posita sit.

Fortunate apparatus studiorum certationis in aliis suggestis habitis et duo ex his certaminibus loquentur.

IDAO SNA Hackathon 2019
Lingua officialis: Anglica,
auctorum: Yandex, Sberbank, HSE
Officialis linguae Russicae;
auctorum: Mail.ru Group
Online Round: Jan 15 β€” Feb 11, 2019;
On-Site Final: Apr 4-6, 2019
online - a Februario VII ad March XV;
offline - a die 30 Martii usque ad 1 Aprilis.
Uti certa notitiarum copia circa particulam in Magna Hadron Collider (trajectoriam, momentum, aliasque parametris physicas potius implicatas), determinare utrum muon sit necne.
Ex hac enuntiatione, 2 officia reperiuntur:
β€” uno modo habuisti praedictionem tuam mittere;
β€” et in aliis β€” totum codicem et exemplar praenuntiationis, et exsecutio satis strictae restrictionis subiacebat temporis ac memoriae usui.
Pro SNA Hackathon contentio, tabulae contentorum exhibitiones ex coetibus apertis in usuario nuntiorum feeds pro Februario-March 2018 collecti sunt. Testis copiae proximam hebdomadem et dimidium Martii continet. Uterque introitus in tigillum notitias habet de iis quae ostensa sunt et quibus, et quomodo utens in hoc contento portavit: aestimavit, annotavit, neglexit, vel cibarium abscondit.
Essentia officii SNA Hackathon est quemque usorem retis socialis Odnoklassniki suum cibarium anteponere, quam maxime elevare ea quae "classis" accipient.
In scaena online, negotium in 3 partes divisum est;
1. stipes gradus secundum varias notas collaborativas
2. columnae gradum secundum imagines continentes
3. Posts gradum continent secundum textum
Complicata consuetudo metrica, aliquid simile ROC-AUC Mediocris ROC-AUC ab usuario
Praemia primi gradus - t-shirts pro N locis, transitus ad secundum scaenam, ubi accommodatio et cenae inter certamina solvebantur.
Secunda pars - ??? (Certis rationibus non interfui caerimoniae laudi et quae praemia erant in fine invenire non potui). Laptops promiserunt omnibus sodalibus quadrigis victricis
Praemia primi stadii - t-shirts ad optimos participes C, iter ad secundum scaenam, ubi iter ad Moscuam, accommodatio et epulae in certamine solvuntur. Etiam, in fine primae scaenae, praemia optima in 100 muneribus in scaena 3 nuntiata sunt: ​​omnes RTX 1 TI video card vici!
Secundum scaena turmae scaenicae sunt, iugis constabat 2 ad 5 homines, praemia;
Locus 1 - 300 rubles
Locus 2 - 200 rubles
Locus 3 - 100 rubles
praemium iudicum - 100 rubles
Officialis coetus telegraphi, ~190 participes, communicatio Anglice, quaestiones aliquot dies responsum exspectandum erat Officialis coetus in telegrapho, ~ 1500 participes, disceptatio actuosa de officiis inter participes et auctorum
Auctores duas solutiones fundamentales praebebant, simplex et provectus. Simplex minus quam 16 GB ipsius RAM requiritur, et memoria provectus in 16 annos non convenit. Eodem tempore participes paulo prospicientes solutionem progressam signanter exsequi non poterant. Nullae erant difficultates in solvendis his solutionibus. Notandum quod in exemplo praemisso commentarium erat cum admonito, ubi solutio solutionis emendandae inciperet. Primae solutiones fundamentales pro singulis muneribus praebuerunt, quae facile a participibus superabantur. Primis diebus in certamine participes varias difficultates obvenerunt: primum data est forma Apache Parquet, et non omnes coniunctiones Pythonis et sarcinae sine erroribus laboraverunt. Secunda difficultas imagines e nube mail e eximebat: momento temporis non est facilis via ad multam copiam notitiarum simul inmittendam. Quam ob rem haec problemata participantes biduum moraverunt.

IDAO. Primum scaena

Negotium erat particulas muon/non-muon inserere secundum suas notas. Praecipua huius muneris notatio praesentia erat columnae ponderis in notitia institutionis, quam ipsi moderatores fiduciam in responsione pro hac linea interpretati sunt. Problema erat quod pauci ordines pondus negativum continebant.

Magna Hadron Collider et Odnoklassniki

Post pauca minuta de linea cum admonitus (monum simpliciter intendimus ad hoc notam columnae ponderis) et in hac graphi fabricanda, decrevimus ut 3 optiones reprimere;

I) invertere scopum lineae cum ponderibus negativis (ac proinde pondera)
II) mutare pondera ad minimum valorem ita ut ab 2
III) ne uti filum weights

Tertia optio pessimum evasit, sed duo priores effectus meliore sunt, optima optio N. 1, quae statim currenti secundo loco nos in primo munere et primo in secundo perduxit.
Magna Hadron Collider et Odnoklassniki
Proximus proximus gradus erat notitias recensere pro valores absentis. Icilium nobis dedit iam pexas notitias, ubi erant admodum paucae valores absentes, et substituti sunt -9999.

Valores absentes invenimus in MatchedHit_{X,Y,Z}[N] et MatchedHit_D{X,Y,Z}[N] columnarum, et solum cum N=2 vel 3. Ut intelligimus, particulas aliquas non novimus. omnes detectores 4 transierunt, et substiterunt vel in 3 vel 4 lamina. Notitia etiam Lextra_{X,Y}[N] columnas continebat, quae rem ipsam cum MatchedHit_{X,Y,Z}[N] apparenter describunt, sed extrapolationis genere utentes. Hae conjecturae exiles suggesserunt Lextra_{X,Y}[N] substitui posse pro valores absentium in MatchedHit_{X,Y,Z}[N] (pro X et Y coordinatas tantum). MatchedHit_Z[N] mediana bene repleta est. Hae machinationes in utroque negotio ad primum medium locum pervenire nobis permiserunt.

Magna Hadron Collider et Odnoklassniki

Cum primum nihil dedissent ad conciliandam scaenam, potuimus ibi subsistere, sed perreximus, picturas quasdam hausimus et novis lineamentis ascendimus.

Magna Hadron Collider et Odnoklassniki

Exempli causa, invenimus, si puncta intersectionis particulae cum qua- tuor detectoribus laminarum, videre possumus puncta in singulis catillis conglutinari in 5 rectangula cum ratione 4 ad 5 et ad centrum. punctum (0,0), in rectangulo primo puncta non sunt.

Plate no 1 2 3 4 5
Plate 1 500h625 1000h1250 2000h2500 4000h5000 8000h10000
Plate 2 520h650 1040h1300 2080h2600 4160h5200 8320h10400
Plate 3 560h700 1120h1400 2240h2800 4480h5600 8960h11200
Plate 4 600h750 1200h1500 2400h3000 4800h6000 9600h12000

His dimensionibus determinatis, 4 novas lineas categoricas singulis particulis addidimus, numerum rectanguli, quo utramque laminam intersecat.

Magna Hadron Collider et Odnoklassniki

Animadvertimus etiam particulas a centro ad latera dispergere visas atque opinionem ortam esse quodammodo aestimare "qualitatem" istius dispersionis. Specimen, probabiliter possibile est cum aliqua Parabola "ideale" quadam ratione consistere, ab ipso puncto pendentem et ab eo deviationem aestimare, sed nosmet ipsi "ideale" lineam rectam limitavimus. Talibus rectis rectis pro quolibet puncto introitus constructis, vexillum deviationis trajectoriae cujusvis particulae ab hac recta linea computare potuimus. Cum mediocris declinationis pro scopo = 1 erat 152, et pro scopo = 0 390 erat, hanc notam tanquam bonam tentative aestimavimus. Quae res statim ad summum utilissimas perduxit.

Laeti sumus et omnes 4 puncta intersectionis declinationem addiderunt singulae particulae a linea recta ideali ut lineamenta 4 additamenta (et etiam bene laboraverunt).

Vincula ad articulos scientificos in argumento certationis, nobis ab auctoribus datis, opinionem admoverunt nos procul a primo ad solvendam hanc quaestionem et fortasse aliqua certa programmatis peculiaris species. Inventa repositio in github ubi methodi IsMuonSimple, IsMuon, IsMuonLoose effectae sunt, eas cum minoribus modificationibus ad locum nostrum transtulimus. Ipsae rationes erant valde simplices: verbi gratia, si vis est minus quam limen certum, non muon, alioquin muon. Tales lineamenta simplices manifesto incrementum dare non poterant in casu utendi boosting gradiente, itaque aliam significantem "distantiam" ad limen addidimus. Haec lineamenta etiam leviter emendata sunt. Fortasse, methodos diligentius resolvendo, validiores methodos invenire et signis adjicere potuit.

In fine certaminis, solutionem "velox" pro secundo problemati leviter intexuimus, in fine, in his punctis a collocatione differebat:

  1. In ordinibus scopo pondere negativo invertitur
  2. Repleti valores absentis in MatchedHit_{X,Y,Z}[N]
  3. Reducitur ad altitudinem VII "
  4. Doctrina rate ad 0.1 (erat 0.19)

Quam ob rem plura lineamenta (non admodum feliciter), parametri delecti ac catboost, lightgbm et xgboost exercitati, varias praedicationum commixtiones temptaverunt et antequam privatas aperiremus, confidenter in secundo munere vicimus, et in primo inter nos fuimus. praes.

His privatis apertis fuimus in 10 loco pro munere 1 et 3 pro secundo. Omnes duces coniecit, celeritasque in libboard privatim eminebat. Videtur quod notitia male stratificata (vel exempli gratia in privatis ponderibus negativis non erant ordines) et haec fuit aliquantulum frustrating.

SNA Hackathon 2019 - Textus. Primum scaena

Negotium erat ponendi usores tabellas in Odnoklassniki retis socialibus, quae in textu continebant, praeter textum, nonnullae notae erant nuntii (linguae, possessoris, diei et temporis creationis, tempus et tempus videndi ).

Ut aditus classicus ad operandum cum textu, duas optiones illustrare velim:

  1. Singula verba destinata in spatium vectoris dimensionis n ita sunt ut similia verba vectores similes habeant (in more legere articulus nostri), deinde vel verbum medium pro textu inveniendo vel mechanismis adhibitis quae relativa verborum positione consideratur (CN, LSTM/GRU).
  2. Exemplaribus adhibitis quae statim cum integris sententiis operari possunt. Puta Bert. In doctrina, aditus melius debet operari.

Cum haec prima experientia cum textibus, nefas esset aliquem docere, ita me docebo. Haec sunt apicibus me dare operam initio certationis;

  1. Antequam curris aliquid docere, vide data! Praeter ipsum textum, notitias aliquot columnas habuit et multo plus ex illis quam ego exprimi potuit. Simplicissimum est medium facere scopum descriptam aliquot columnarum.
  2. Discite ab omnibus notitiis! Multum notitiarum (circiter 17 decies centena milia versuum) erat et omnino non necessarium erat ut omnes hypotheses probarent. Disciplina et praeprocessus satis tarda erant, et tempus habuissem ut manifesto hypotheses plus interesting temptaret.
  3. <Controversiae consilium> Non opus est exemplar interfectorem quaerere. Diu Elmo et Bert remanens, sperans se statim me ad excelsum locum trahere, unde FastText emblemationibus linguae Russicae praeordinatis usus sum. Meliorem celeritatem cum Elmo assequi non potui, nec tempus habeo ut illam cum Berto viderim.
  4. <Controversiae consilium> Non opus est unum homicidam quaerere pluma. Notitias intuens, animadverti circa 1 cento textuum textum actu non continere! Sed erant nexus quibusdam facultatibus, et scripsi simplex parser qui locum aperuit et titulum et descriptionem extraxit. Placuit ut utilem, sed tunc abreptus sum et decrevi omnes nexus omnium textuum dividere et multum temporis iterum perdidi. Haec omnia non significantem emendationem in ultimo eventu (quamvis derivationem significavi, exempli gratia).
  5. Classicum opus. Google, exempli gratia, "linea textus kaggle" omnia legimus et addimus. TF-IDF emendationem praebebat, sicut lineamenta statistica fecerunt ut textus longitudinis, verborum et punctationis quantitatem.
  6. Si columnae DateTime adsunt, valet earum pars in plures lineas separatas (horas, dies hebdomadis, etc.). Quae notiones illustrari debent utentes graphes/aliquas metricas indagare debent. Hic, ad libitum, omnia recte feci et notas necessarias illustravit, sed normale analysis non laedebat (exempli gratia, sicut in ultimo fecimus).

Magna Hadron Collider et Odnoklassniki

Ex certaminis causa, unum keras exemplar verbo convolutionis, alterum ex LSTM et GRU institui. Uterque usus est prae exercitatis involucris FastText ad linguam Russicam (plurimas conatus sum emblemationes alias, sed hi erant qui optime laboraverunt). Praedictiones fere post ultimum 7 locum ex 76 participibus cepi.

Post primum tempus editum est article by Nikolai Anokhinqui secundum locum (ex contentione participavit) et solutionem suam usque ad aliquod stadium iteravit, sed ulterius processit propter mechanismum interrogationis-pretii attentionis.

Secundus gradus OK & IDAO

Secundus gradus certationis paene consecutus est, ut eas simul videre decrevi.

Primum, ego et turmae nuper acquisitae in infigo officio Mail.ru societatis finitae sunt, ubi negotium nostrum erat exempla tria vestigia e primo stadio - textu, imaginibus et collab coniungere. Hoc paulo amplius quam 2 dies dati sunt, quod minime evenit. Re quidem vera exitum nostrum a primo stadio repetere non potuimus nisi ullis lucris e mergero acciperemus. In fine 5th locum cepimus, sed exemplari textu uti non potuimus. Solutiones aliorum participantium inspectis, videtur operae pretium esse ut textus augeant et ad exemplar collab addas. Effectus lateris huius scaenae novae impressiones factae sunt, occurrentes et communicantes cum participibus et auctoribus frigidis, necnon vigiliis gravibus, quae eventum ultimi IDAO gradus affici possunt.

Negotium apud IDAO 2019 Ultimum tempus erat ut tempus exspectationis praediceret ut Yandex taxi coegi in aeroportus. In scaena 2, 3 munera = 3 aliquet nisl identified. Pro unoquoque aeroporto, minutatim minutatimque dato numero ordinum taxi sex menses datur. Et, ut probatio data, proximo mense et minute per minutas notitias in mandatis in praeteritum II septimanas datae sunt. Parum temporis erat (2 dies), negotium satis specificum, unus tantum e quadrigis venit ad certamen - et per consequens locus tristis ad finem versus erat. Interestings notiones inclusae conatibus utendi externa notitia: tempestas, negotiatio impedita et Yandex taxi ordinis mutant. Etsi moderatores non dixerunt quid hi nisl essent, multi participes posuerunt Sheremetyevo, Domodedovo et Vnukovo se esse. Etsi haec assumptio post certamen refutata est, lineamenta, exempli gratia, ex notitia tempestatis Moscuae tam in sanatione quam in ducisboard eventum emendaverunt.

conclusio,

  1. ML certationis frigus et interesting! Hic usum artificiorum in analysi invenies, et in exemplaribus et artificiis callidis, et sensus communis simpliciter gratus est.
  2. ML iam ingens corpus cognitionis exponentialiter crescere videtur. Propositum me constitui cognoscendi varias areas (signa, picturas, tabulas, textum) et iam percepi quantum discendi causa sit. Exempli gratia, post has certationes studere decrevi: racemosis algorithms, technicas provectas ad operandum librariorum graduum boostingarum (praesertim cum CatBoost in GPU operando), capsulae reticulorum, machinarum inquisitionis valorem attentio.
  3. Non per solam kaggle! Multae aliae certationes ubi facilius saltem subucula sumuntur, et casus pro aliis praemiis sunt.
  4. Communicare! Magna communitas iam est in agro machinarum discendi et analysi, sunt coetus thematici in telegrapho, remisso et gravi populo a Mail.ru, Yandex et aliis societatibus quaestiones respondent et adiuvant incipientes et qui iter suum in hoc campo continuant. of scientia.
  5. Suadeo omnes, qui a priore puncto ad visitandum incitati sunt datafest - colloquium liberum Moscuae maioris, quod die 10-11. mensis Maii fiet.

Source: www.habr.com