Коллайдери калон Адрон ва Одноклассники

Мавзӯи мусобиқаҳои омӯзиши мошинҳоро дар Ҳабре идома дода, мо мехоҳем хонандагонро бо ду платформаи дигар шинос кунем. Онҳо бешубҳа мисли kaggle бузург нестанд, аммо онҳо бешубҳа сазовори таваҷҷӯҳ мебошанд.

Коллайдери калон Адрон ва Одноклассники

Шахсан, ман бо якчанд сабабҳо kaggle-ро аз ҳад зиёд дӯст намедорам:

  • якум, дар он чо мусобикахо аксар вакт якчанд мох давом мекунанд ва иштироки фаъолона чидду чахди зиёдро талаб мекунад;
  • дуюм, ядроҳои ҷамъиятӣ (ҳалҳои ҷамъиятӣ). Пайравони Каггл маслиҳат медиҳанд, ки бо оромии роҳибони тибетӣ бо онҳо муносибат кунанд, аммо дар асл ин хеле шармовар аст, вақте чизе ки шумо як ё ду моҳ кор карда истодаед, ногаҳон дар табақчаи нуқра барои ҳама гузошта мешавад.

Хушбахтона, мусобиқаҳои омӯзиши мошинсозӣ дар дигар платформаҳо гузаронида мешаванд ва якчанд ин мусобиқаҳо муҳокима карда мешаванд.

IDAO SNA Hackathon 2019
Забони расмӣ: англисӣ,
ташкилкунандагон: Яндекс, Сбербанк, HSE
Забони расмии русӣ,
ташкилкунандагон: Mail.ru Group
Даври онлайн: 15 январ - 11 феврали 2019;
Ниҳоии сайт: 4-6 апрели 2019
онлайн - аз 7 феврал то 15 март;
офлайн - аз 30 март то 1 апрел.
Бо истифода аз маҷмӯи муайяни маълумот дар бораи зарра дар Коллайдери Калон Адрон (траектория, импулс ва дигар параметрҳои физикии хеле мураккаб) муайян кунед, ки он мюон аст ё не.
Аз ин изҳорот 2 вазифа муайян карда шуд:
- дар як шумо танҳо бояд пешгӯии худро фиристед,
- ва дар дигар - код ва модели мукаммал барои пешгӯӣ ва иҷрои он бо маҳдудиятҳои хеле сахт дар вақти кор ва истифодаи хотира буд.
Барои озмуни SNA Hackathon, гузоришҳои намоиши мундариҷа аз гурӯҳҳои кушода дар каналҳои хабарии корбарон барои феврал-марти соли 2018 ҷамъоварӣ карда шуданд. Маҷмӯи санҷиш ҳафтаи охири моҳи мартро дар бар мегирад. Ҳар як сабт дар гузориш дорои маълумот дар бораи он, ки чӣ нишон дода шудааст ва ба кӣ, инчунин чӣ гуна корбар ба ин мундариҷа чӣ гуна муносибат кардааст: ба он баҳо дод, шарҳ дод, онро нодида гирифт ё аз лента пинҳон кард.
Моҳияти вазифаҳои SNA Hackathon аз он иборат аст, ки ҳар як корбари шабакаи иҷтимоии Одноклассники феҳристи худро баҳо дода, ҳарчи бештари он хабарҳоеро, ки "класс" мегиранд, баланд бардоранд.
Дар марҳилаи онлайн, супориш ба 3 қисм тақсим карда шуд:
1. ба мансабҳо мувофиқи хусусиятҳои гуногуни муштарак
2. Заметкиҳоро аз рӯи тасвирҳое, ки онҳо доранд, баҳо диҳед
3. мансабҳоро мувофиқи матне, ки онҳо доранд, баҳо диҳед
Метрикаи фармоишии мураккаб, чизе монанди ROC-AUC Миёнаи ROC-AUC аз ҷониби корбар
Мукофотҳо барои марҳилаи аввал - футболкаҳо барои N ҷойҳо, гузариш ба марҳилаи дуюм, ки дар он ҷо ҷои зист ва хӯрок дар рафти озмун пардохт карда мешавад
Марҳилаи дуюм - ??? (Бо сабабҳои муайян ман дар маросими ҷоизаҳо ҳузур надоштам ва натавонистам бифаҳмам, ки дар охир чӣ ҷоизаҳо буданд). Онҳо ба ҳамаи аъзоёни дастаи ғолиб ноутбук ваъда карданд
Мукофотҳо барои марҳилаи аввал – футболкаҳо барои 100 нафар беҳтарин иштирокчиён, гузаргоҳ ба марҳилаи дуюм, ки дар он ҷо сафар ба Маскав, манзил ва хӯрок дар ҷараёни озмун пардохта шуд. Инчунин, дар охири марҳилаи аввал, ҷоизаҳо барои беҳтаринҳо дар 3 вазифа дар марҳилаи 1 эълон карда шуданд: ҳама соҳиби корти видеоии RTX 2080 TI шуданд!
Марҳилаи дуюм марҳилаи дастаӣ буд, дастаҳо аз 2 то 5 нафар иборат буданд, ҷоизаҳо:
Ҷойи 1 - 300 000 рубл
Ҷойи 2 - 200 000 рубл
Ҷойи 3 - 100 000 рубл
Ҷоизаи ҳакамон - 100 000 рубл
Гурӯҳи расмии телеграмма, ~190 иштирокчӣ, муошират бо забони англисӣ, саволҳо маҷбур шуданд, ки барои посух якчанд рӯз интизор шаванд Гурӯҳи расмӣ дар телеграмма, ~1500 иштирокчӣ, муҳокимаи фаъолонаи вазифаҳо байни иштирокчиён ва созмондиҳандагон
Ташкилкунандагон ду роҳи ҳалли асосӣ, оддӣ ва пешрафта пешниҳод карданд. Содда камтар аз 16 ГБ RAM талаб мекард ва хотираи пешрафта ба 16 ГБ мувофиқат намекард. Дар баробари ин, каме ба пеш нигариста, иштирокчиён натавонистанд, ки ҳалли пешқадамро ба таври назаррас пеш баранд. Дар ба кор андохтани ин карорхо ягон душворй набуд. Бояд қайд кард, ки дар мисоли пешқадам шарҳе буд, ки дар бораи он, ки ба такмил додани ҳалли мушкилот ишора мекунад. Барои ҳар як вазифае, ки аз ҷониби иштирокчиён ба осонӣ аз онҳо гузаштанд, роҳҳои асосии ибтидоӣ пешниҳод карда шуданд. Дар рӯзҳои аввали озмун иштирокчиён бо чанд душворӣ рӯбарӯ шуданд: аввалан, маълумот дар формати Apache Parquet дода шуда буд ва на ҳама комбинатсияи Python ва бастаи паркет бе хато кор мекарданд. Мушкилоти дуюм зеркашии тасвирҳо аз абри почта буд; дар айни замон роҳи осони зеркашӣ кардани миқдори зиёди маълумот дар як вақт вуҷуд надорад. Дар натиҷа, ин мушкилот иштирокчиёнро якчанд рӯз кашол дод.

IDAO. Марҳилаи аввал

Вазифа аз он иборат буд, ки заррачахои муон/на-мюонй мувофики характеристикахояшон тасниф карда шаванд. Хусусияти асосии ин вазифа мавҷудияти сутуни вазн дар маълумоти омӯзиш буд, ки худи созмондиҳандагон онро ҳамчун эътимод ба ҷавоби ин сатр шарҳ доданд. Мушкилот дар он буд, ки чанде аз сатрҳо вазни манфӣ доштанд.

Коллайдери калон Адрон ва Одноклассники

Пас аз чанд дақиқа дар бораи хатти ишора (маслиҳат танҳо таваҷҷӯҳро ба ин хусусияти сутуни вазн ҷалб кард) ва сохтани ин график, мо тасмим гирифтем, ки 3 вариантро тафтиш кунем:

1) ҳадафи сатрҳоро бо вазнҳои манфӣ (ва вазнҳои мувофиқ) иваз кунед
2) вазнҳоро ба ҳадди ақал гузаронед, то онҳо аз 0 оғоз шаванд
3) вазнҳои сатрро истифода набаред

Варианти сейум бедтарин шуд, вале дуи аввал нати-чаро бедтар кард, бехтарин варианти раками 1 буд, ки моро дархол ба чои дуюми хозира дар супориши якум ва якум дар дуйум овард.
Коллайдери калон Адрон ва Одноклассники
Қадами навбатии мо баррасии маълумот барои арзишҳои гумшуда буд. Ташкилкунандагон ба мо аллакай маълумоти шонашударо доданд, ки дар он ҷо миқдори зиёди арзишҳо мавҷуд буданд ва онҳоро -9999 иваз карданд.

Мо арзишҳои гумшударо дар сутунҳои MatchedHit_{X,Y,Z}[N] ва MatchedHit_D{X,Y,Z}[N] ёфтем ва танҳо дар ҳолати N=2 ё 3. Тавре ки мо мефаҳмем, баъзе зарраҳо ҳама 4 детекторро гузаронед ва ё дар лавҳаи 3 ё 4-ум истод. Дар маълумот инчунин сутунҳои Lextra_{X,Y}[N] мавҷуд буданд, ки зоҳиран ҳамон чизеро бо MatchedHit_{X,Y,Z}[N] тавсиф мекунанд, аммо бо истифода аз як навъ экстраполяция. Ин тахминҳои ночиз пешниҳод карданд, ки Lextra_{X,Y}[N] метавонад ба арзишҳои гумшудаи MatchedHit_{X,Y,Z}[N] иваз карда шавад (танҳо барои координатҳои X ва Y). MatchedHit_Z[N] бо медиан хуб пур карда шуд. Ин манипуляцияҳо ба мо имкон доданд, ки дар ҳарду вазифа ба ҷои 1-уми мобайнӣ бирасем.

Коллайдери калон Адрон ва Одноклассники

Бо назардошти он, ки онҳо барои пирӯзӣ дар марҳилаи аввал чизе надоданд, мо метавонистем дар он ҷо истодем, аммо идома додем, чанд расмҳои зебо кашидем ва хусусиятҳои нав пайдо кардем.

Коллайдери калон Адрон ва Одноклассники

Масалан, мо дарёфтем, ки агар нуқтаҳои буриши зарраро бо ҳар як чаҳор лавҳаи детекторӣ кашем, мебинем, ки нуқтаҳои ҳар як плита ба 5 росткунҷа бо таносуби тарафҳо аз 4 то 5 гурӯҳбандӣ шудаанд ва дар марказ ҷойгир шудаанд. нуқта (0,0), ва дар Дар росткунҷаи аввал нуқтаҳо вуҷуд надоранд.

Рақами табақ / андозаҳои росткунҷа 1 2 3 4 5
Лавҳаи 1 500x625 1000x1250 2000x2500 4000x5000 8000x10000
Лавҳаи 2 520x650 1040x1300 2080x2600 4160x5200 8320x10400
Лавҳаи 3 560x700 1120x1400 2240x2800 4480x5600 8960x11200
Лавҳаи 4 600x750 1200x1500 2400x3000 4800x6000 9600x12000

Ин андозаҳоро муайян карда, мо барои ҳар як зарра 4 хусусияти нави категориявӣ илова кардем - рақами росткунҷае, ки дар он ҳар як плитаро бурида мегузарад.

Коллайдери калон Адрон ва Одноклассники

Мо инчунин мушохида кардем, ки заррахо аз марказ гуё ба тарафхо пароканда мешаванд ва фикре ба миён омад, ки ба ягон навъ бахо додан ба «сифат»-и ин парокандагй. Идеал, шояд вобаста ба нуқтаи парвоз ягон намуди параболаи «идеалӣ» пайдо шавад ва инҳирофро аз он ҳисоб кунем, аммо мо худро бо хати рости «идеалӣ» маҳдуд кардем. Пас аз сохтани чунин хатҳои рости идеалӣ барои ҳар як нуқтаи даромад, мо тавонистем инҳирофи стандартии траекторияи ҳар як зарраро аз ин хати рост ҳисоб кунем. Азбаски инҳирофоти миёна барои ҳадаф = 1 152 ва барои ҳадаф = 0 390 буд, мо шартан ин хусусиятро хуб арзёбӣ кардем. Ва дар ҳақиқат, ин хусусият дарҳол онро ба болои яке аз муфидтаринҳо гузошт.

Мо хурсанд шудем ва инҳирофи ҳамаи 4 нуқтаи буришро барои ҳар як зарра аз хати рости идеалӣ ҳамчун 4 хусусияти иловагӣ илова кардем (ва онҳо низ хуб кор карданд).

Истинодҳо ба мақолаҳои илмӣ дар мавзӯи озмун, ки аз ҷониби созмондиҳандагон ба мо дода шудаанд, чунин ақидаро водор сохт, ки мо аз аввалинҳо дур ҳастем, ки ин мушкилотро ҳал карда истодаем ва шояд ягон намуди нармафзори махсус вуҷуд дорад. Пас аз кашф кардани як репозиторий дар github, ки дар он усулҳои IsMuonSimple, IsMuon, IsMuonLoose татбиқ шуда буданд, мо онҳоро бо тағиротҳои хурд ба сайти худ интиқол додем. Худи усулхо хеле оддй буданд: масалан, агар энергия аз хадди муайян камтар бошад, пас он муон нест, вагарна он муон аст. Чунин хусусиятҳои оддӣ, бешубҳа, дар сурати истифодаи баланд бардоштани градиент афзоиш дода наметавонистанд, аз ин рӯ мо ба остона боз як "масофаи" назаррасро илова кардем. Ин хусусиятҳо низ каме такмил дода шудаанд. Шояд бо тахлили чукуртар усулхои мавчуда усулхои пуркувватро ёфта, ба нишонахо илова кардан мумкин буд.

Дар охири озмун мо роҳи ҳалли "зуд"-и масъалаи дуюмро каме таҳрик додем; дар ниҳоят, он аз ибтидоӣ бо нуктаҳои зерин фарқ мекард:

  1. Дар сатрҳои дорои вазни манфӣ, ҳадаф баръакс шуд
  2. Дар MatchedHit_{X,Y,Z}[N] арзишҳои гумшуда пур карда шуданд
  3. Кам кардани чуқурии 7
  4. Коҳиши сатҳи омӯзиш то 0.1 (0.19 буд)

Дар натиҷа, мо хусусиятҳои бештарро санҷидем (на он қадар бомуваффақият), параметрҳои интихобшуда ва catboost, lightgbm ва xgboost-ро омӯзонидем, омехтаҳои гуногуни пешгӯиро санҷидем ва пеш аз кушодани хусусӣ мо дар вазифаи дуюм боварӣ ҳосил кардем ва дар аввал мо дар байни рохбарон.

Пас аз кушодани хусусй мо дар чои 10-ум аз руи супориши 1-ум ва 3-юм барои дуюм будем. Хамаи рохбарон ба хам омехта шуданд ва суръат дар хусусй нисбат ба либор баландтар буд. Чунин ба назар мерасад, ки маълумот ба таври ночиз стратификация карда шудааст (ё масалан, дар хусуси сатрҳои дорои вазнҳои манфӣ вуҷуд надоштанд) ва ин каме рӯҳафтода буд.

SNA Hackathon 2019 - Матнҳо. Марҳилаи аввал

Вазифа аз он иборат буд, ки паёмҳои корбарон дар шабакаи иҷтимоии Одноклассники аз рӯи матне, ки онҳо дар бар мегиранд, баҳогузорӣ карда шаванд; ба ҷуз аз матн, боз чанд хусусияти ин пост (забон, соҳиби, сана ва вақти офариниш, сана ва вақти дидан) мавҷуд буд. ).

Ҳамчун равишҳои классикӣ ба кор бо матн, ман ду вариантро таъкид мекунам:

  1. Харитасозии ҳар як калима ба фазои вектории n-ченака, то калимаҳои шабеҳ векторҳои шабеҳ дошта бошанд (бештар дар мақолаи мо), баъд ё ёфтани калимаи миёна барои матн ё истифодаи механизмҳое, ки мавқеи нисбии калимаҳоро ба назар мегиранд (CNN, LSTM/GRU).
  2. Истифодаи моделҳое, ки метавонанд фавран бо тамоми ҷумлаҳо кор кунанд. Масалан, Берт. Дар назария, ин усул бояд беҳтар кор кунад.

Азбаски ин аввалин таҷрибаи ман бо матнҳо буд, ба касе таълим додан нодуруст мебуд, аз ин рӯ худам таълим медиҳам. Инҳоянд маслиҳатҳое, ки ман дар оғози озмун ба худам медиҳам:

  1. Пеш аз он ки шумо барои таълим додани чизе давед, ба маълумот нигаред! Илова ба худи матн, маълумот якчанд сутун дошт ва имкон дошт, ки аз онҳо назар ба ман хеле зиёдтар фишурда шавад. Оддӣтарин кор ин аст, ки маънои рамзгузории ҳадафро барои баъзе сутунҳо иҷро кунед.
  2. Аз ҳама маълумотҳо дарс нагиред! Маълумоти зиёд (тақрибан 17 миллион сатр) мавҷуд буд ва барои санҷиши фарзияҳо истифода бурдани ҳамаи онҳо комилан шарт набуд. Омӯзиш ва коркарди пешакӣ хеле суст буд ва ман бешубҳа вақт медоштам, ки гипотезаҳои ҷолибтарро санҷанд.
  3. <Маслиҳати баҳснок> Барои ҷустуҷӯи модели қотил лозим нест. Ман муддати тӯлонӣ барои фаҳмидани Элмо ва Берт сарф кардам ва умедворам, ки онҳо маро фавран ба ҷои баланд мебаранд ва дар натиҷа ман замимаҳои пешакии FastText-ро барои забони русӣ истифода кардам. Ман бо Элмо суръати беҳтаре ба даст оварда наметавонистам ва ман то ҳол вақт надоштам, ки онро бо Берт фаҳмам.
  4. <Маслиҳати баҳснок> Барои ҷустуҷӯи як хусусияти қотил лозим нест. Ба маълумотҳо нигоҳ карда, ман мушоҳида кардам, ки тақрибан 1 фоизи матнҳо воқеан матн надоранд! Аммо истинодҳо ба баъзе манбаъҳо буданд ва ман як таҳлилгари оддӣ навиштам, ки сайтро кушод ва сарлавҳа ва тавсифро кашид. Ин як идеяи хуб ба назар мерасид, аммо баъд аз он ман дур шудам ва тасмим гирифтам, ки ҳамаи истинодҳоро барои ҳамаи матнҳо таҳлил кунам ва боз вақти зиёдро аз даст додам. Ҳамаи ин беҳбудии назаррасро дар натиҷаи ниҳоӣ таъмин накард (гарчанде ки ман, масалан, ман фаҳмидам).
  5. Хусусиятҳои классикӣ кор мекунанд. Мо Google, масалан, "хусусиятҳои матн kaggle", ҳама чизро хонда ва илова мекунем. TF-IDF инчунин хусусиятҳои оморӣ, аз қабили дарозии матн, калимаҳо ва миқдори пунктуатсияро такмил дод.
  6. Агар сутунҳои DateTime мавҷуд бошанд, онҳоро ба якчанд хусусиятҳои алоҳида (соатҳо, рӯзҳои ҳафта ва ғайра) тақсим кардан лозим аст. Кадом хусусиятҳоро бояд таъкид кард, бояд бо истифода аз графикҳо/баъзе ченакҳо таҳлил карда шавад. Дар ин ҷо, ман ҳама чизро дуруст иҷро кардам ва хусусиятҳои заруриро қайд кардам, аммо таҳлили муқаррарӣ зарар намерасонд (масалан, чунон ки мо дар финал будем).

Коллайдери калон Адрон ва Одноклассники

Дар натиҷаи озмун ман як модели керасро бо конволютсияи калима ва дигареро дар асоси LSTM ва GRU омӯзондам. Ҳардуи онҳо барои забони русӣ дохилкуниҳои қаблан омӯзонидашудаи FastText-ро истифода бурданд (ман як қатор ҷобаҷогузории дигарро санҷидам, аммо инҳо беҳтарин кор мекарданд). Баъди ба ҳисоби миёна ҳисоб кардани пешгӯиҳо ман дар байни 7 иштирокчӣ ҷои охирини 76-умро гирифтам.

Пас аз марҳилаи аввал нашр шуд маколаи Николай Анохин, ки ҷои дуюмро гирифт (ӯ берун аз озмун иштирок кард) ва ҳалли ӯ то як марҳила маро такрор кард, аммо аз сабаби механизми таваҷҷӯҳи пурсиш-арзиш ба пеш рафт.

Марҳилаи дуюм OK & IDAO

Даврахои дуйуми мусобикахо кариб пай дар пай сурат гирифтанд, бинобар ин ман карор додам, ки онхоро якчоя тамошо кунам.

Аввалан, ман ва дастаи нав гирифташуда дар дафтари таъсирбахши ширкати Mail.ru ба охир расидем, ки дар он вазифаи мо якҷоя кардани моделҳои се трек аз марҳилаи аввал - матн, тасвирҳо ва ҳамкорӣ буд. Барои ин каме бештар аз 2 руз вакт чудо карда шуда буд, ки ин хеле кам буд. Дарвоқеъ, мо тавонистем танҳо натиҷаҳои худро аз марҳилаи аввал такрор кунем, бидуни ягон фоида аз муттаҳидшавӣ. Дар охир мо чои 5-умро гирифтем, вале модели матниро истифода бурда натавонистем. Пас аз дидани ҳалли дигар иштирокчиён, ба назар чунин мерасад, ки кӯшиш кардан лозим буд, ки матнҳоро кластер кунед ва онҳоро ба модели ҳамкорӣ илова кунед. Таъсири иловагии ин марҳила таассуроти нав, вохӯрӣ ва муошират бо иштирокчиён ва созмондиҳандагони олӣ, инчунин норасоии шадиди хоб буд, ки шояд ба натиҷаи марҳилаи ниҳоии IDAO таъсир расонида бошад.

Вазифа дар марҳилаи ниҳоии IDAO 2019 пешгӯии вақти интизории фармоиш барои ронандагони таксӣ дар фурудгоҳ буд. Дар марҳилаи 2, 3 вазифа = 3 фурудгоҳ муайян карда шуд. Барои ҳар як фурудгоҳ маълумоти дақиқа ба дақиқа дар бораи шумораи фармоишҳои таксӣ дар шаш моҳ дода мешавад. Ва ҳамчун маълумоти санҷиш, маълумоти моҳи оянда ва дақиқа ба дақиқа дар бораи фармоишҳо дар 2 ҳафтаи охир дода шуданд. Вакти кам буд (1,5 руз), супориш басо конкретй буд, аз коллектив танхо як кас ба мусобика омад — ва дар натича то охир чои аламовар буд. Ғояҳои ҷолиб кӯшишҳои истифодаи маълумоти беруна: обу ҳаво, роҳбандӣ ва омори фармоиши таксиҳои Яндексро дар бар мегиранд. Ҳарчанд созмондиҳандагон нагуфтанд, ки ин фурудгоҳҳо чист, вале бисёре аз ширкаткунандагон тахмин мезаданд, ки онҳо Шереметьево, Домодедово ва Внуково ҳастанд. Гарчанде ки ин фарзия пас аз озмун рад карда шуд, хусусиятҳо, масалан, маълумотҳои обу ҳавои Маскав натиҷаҳоро ҳам дар санҷиш ва ҳам дар ҷадвали пешсаф беҳтар карданд.

хулоса

  1. Мусобиқаҳои ML ҷолиб ва ҷолибанд! Дар ин ҷо шумо истифодаи малакаҳоро дар таҳлили додаҳо ва моделҳо ва усулҳои маккорона хоҳед ёфт ва ақли солим истиқбол аст.
  2. ML аллакай як маҷмӯи бузурги донишест, ки ба таври экспоненсиалӣ афзоиш меёбад. Ман дар назди худ мақсад гузоштам, ки бо соҳаҳои гуногун (сигналҳо, расмҳо, ҷадвалҳо, матн) шинос шавам ва аллакай фаҳмидам, ки чӣ қадар таҳсил кардан лозим аст. Масалан, пас аз ин озмунҳо ман қарор додам, ки омӯзам: алгоритмҳои кластерӣ, усулҳои пешрафтаи кор бо китобхонаҳои такмили градиент (хусусан, кор бо CatBoost дар GPU), шабакаҳои капсула, механизми таваҷҷӯҳи дархост ба арзиш.
  3. На танҳо аз ҷониби kaggle! Мусобиқаҳои зиёде ҳастанд, ки дар онҳо ҳадди аққал як футболка ба даст овардан осонтар аст ва барои гирифтани ҷоизаҳои дигар имкони бештар вуҷуд дорад.
  4. Муошират кунед! Дар соҳаи омӯзиши мошинсозӣ ва таҳлили додаҳо аллакай як ҷомеаи калон вуҷуд дорад, дар телеграмма, одамони суст ва ҷиддӣ дар Mail.ru, Яндекс ва дигар ширкатҳо ҳастанд, ба саволҳо ҷавоб медиҳанд ва ба шурӯъкунандагон ва онҳое, ки роҳи худро дар ин соҳа идома медиҳанд, кӯмак мекунанд. дониш.
  5. Ман ба ҳар касе, ки аз нуқтаи қаблӣ илҳом гирифта буд, тавсия медиҳам, ки боздид кунанд datafest — конференциям калони озод дар Москва, ки 10—11 май барпо мегардад.

Манбаъ: will.com

Илова Эзоҳ