NeuroIPS () нь машин сургалт, хиймэл оюун ухааны дэлхийн хамгийн том хурал бөгөөд гүнзгий суралцах дэлхийн гол үйл явдал юм.
DS инженерүүд бид шинэ арван жилд биологи, хэл шинжлэл, сэтгэл судлалыг мөн эзэмших үү? Бид танд тоймдоо хэлэх болно.
Энэ жил Канадын Ванкувер хотод болсон бага хуралд дэлхийн 13500 гаруй орны 80 гаруй хүн оролцов. Энэ хуралд Сбербанк Оросыг төлөөлөн оролцож байгаа анхны жил биш юм - DS-ийн баг банкны үйл явцад ML-ийг нэвтрүүлэх, ML-ийн өрсөлдөөний талаар болон Сбербанк DS платформын боломжуудын талаар ярилцав. ML нийгэмлэгийн 2019 оны гол чиг хандлага юу байв? Чуулганд оролцогчид: и .
Энэ жил NeurIPS нь алгоритм, шинэ загвар, шинэ өгөгдөлд зориулсан шинэ программ зэрэг 1400 гаруй баримт бичгийг хүлээн авсан.
Агуулга:
- Чиг хандлага
-
- Загвар тайлбарлах чадвар
- Олон талт байдал
- Шалтгаан
- RL
- GAN
- Уригдсан үндсэн яриа
-
- "Нийгмийн оюун ухаан", Блэйз Агуера и Аркас (Google)
- "Veridical Data Science", Бин Ю (Беркли)
- “Хүний зан үйлийн загварчлалын машин сургалтын тусламжтайгаар: Боломж ба сорилт”, Нуриа М Оливер, Альберт Али Салах
- “Систем 1-ээс 2-р систем хүртэл гүнзгий суралцах”, Йошуа Бенгио
Жилийн 2019 чиг хандлага
1. Загвар тайлбарлах чадвар ба ML-ийн шинэ арга зүй
Чуулганын гол сэдэв нь бид яагаад тодорхой үр дүнд хүрч байгаагийн тайлбар, нотолгоо юм. "Хар хайрцаг"-ын тайлбарын гүн ухааны ач холбогдлын талаар удаан ярьж болох ч энэ чиглэлээр илүү бодит арга, техникийн хөгжил байсан.
Загваруудыг хуулбарлах, тэдгээрээс мэдлэг олж авах арга зүй нь шинжлэх ухааны шинэ хэрэгсэл юм. Загварууд нь шинэ мэдлэг олж авах, түүнийг турших хэрэгсэл болж чаддаг бөгөөд загварыг урьдчилан боловсруулах, сургах, хэрэглэх үе шат бүр нь дахин давтагдах боломжтой байх ёстой.
Нийтлэлийн нэлээд хэсэг нь загвар, багаж хэрэгслийг бүтээхэд бус харин аюулгүй байдал, ил тод байдал, үр дүнг баталгаажуулах асуудлыг шийдвэрлэхэд зориулагдсан болно. Тодруулбал, загварт халдлага хийх (сөргөлдөөнтэй халдлага) тухай тусдаа урсгал гарч ирсэн бөгөөд сургалтанд хийх довтолгоо болон хэрэглээний довтолгооны аль алиных нь хувилбаруудыг авч үздэг.
Нийтлэл:
- - загварыг баталгаажуулах аргачлалын талаархи хөтөлбөрийн нийтлэл. Загваруудыг тайлбарлах орчин үеийн хэрэгслүүдийн тойм, тухайлбал, шугаман загвараар мэдрэлийн сүлжээг "нэрэх" замаар анхаарлыг ашиглах, онцлог шинж чанарыг олж авах.
- Чаофан Чен, Оскар Ли, Даниел Тао, Алина Барнетт, Синтия Рудин, Жонатан К.Су
- Сара Хукер, Думитру Эрхан, Питер-Жан Киндерманс, Беен Ким
- Александр Мотт, Даниел Зоран, Майк Хрзановский, Даан Виерстра, Данило Хименез Резенде
- Сяо Ли, Ю Ван, Суманта Басу, Карл Кумбиер, Бин Ю
- Жэймин Ёо, Минён Чо, Тэбум Ким, У Кан
- Эдвард Рафф
ExBert.net нь текст боловсруулах даалгаврын загвар тайлбарыг харуулж байна
2. Олон талт байдал
Найдвартай баталгаажуулалтыг хангах, мэдлэгийг баталгаажуулах, өргөжүүлэх механизмыг хөгжүүлэхийн тулд бид ML болон тухайн сэдвийн чиглэлээр (анагаах ухаан, хэл шинжлэл, нейробиологи, боловсрол гэх мэт) зэрэг чадвартай холбогдох салбарын мэргэжилтнүүд хэрэгтэй байна. Мэдрэлийн шинжлэх ухаан, танин мэдэхүйн шинжлэх ухаанд бүтээл, илтгэл илүү их байгааг тэмдэглэх нь зүйтэй - мэргэжилтнүүд ойртож, санаагаа зээлж байна.
Энэхүү ойртохоос гадна текст ба зураг, текст ба тоглоом, график мэдээллийн сан + текст, гэрэл зураг гэх мэт янз бүрийн эх сурвалжаас авсан мэдээллийг хамтран боловсруулахад олон талт байдал үүсч байна.
Нийтлэл:
- Мэдрэл судлал + ML -
- VisualQA -
- RL + NLP -
RL болон NLP дээр суурилсан стратегич ба гүйцэтгэх гэсэн хоёр загвар нь онлайн стратеги тоглодог
3. Шалтгаан
Хиймэл оюун ухааныг бэхжүүлэх нь бие даан суралцах систем, "ухамсарт", үндэслэл, үндэслэл рүү шилжих хөдөлгөөн юм. Ялангуяа учир шалтгааны дүгнэлт, нийтлэг ойлголтын үндэслэл хөгжиж байна. Илтгэлүүдийн зарим нь мета-сургалт (хэрхэн сурч сурах тухай) болон DL технологийг 1, 2-р зэрэглэлийн логиктой хослуулахад зориулагдсан болно - Хиймэл ерөнхий оюун ухаан (AGI) гэсэн нэр томъёо нь илтгэгчдийн ярианд түгээмэл хэрэглэгддэг нэр томъёо болж байна.
Нийтлэл:
- Вэйзян Ю, Жинвэнь Жоу, Вэйхао Ю, Шиаодан Лян, Нонг Сяо
- Ван-Жоу Дай, Цюлин Сю, Ян Ю, Жи-Хуа Жоу
- Вайшак Белле, Брендан Жуба
- Антон Бахтин, Лауренс ван дер Маатен, Жастин Жонсон, Лаура Густафсон, Росс Гиршик
- Динеш Гарг, Шажит Икбал, Сантош К.Шривастава, Харит Вишвакарма, Хима Каранам, Л Венката Субраманиам
4. Бататгах сургалт
Ихэнх ажил нь архитектурыг компьютерийн хараа, NLP, график мэдээллийн сантай хослуулсан RL - DOTA2, Starcraft-ийн уламжлалт чиглэлүүдийг үргэлжлүүлэн хөгжүүлсээр байна.
Чуулганы тусдаа өдөр нь RL-ийн семинарт зориулагдсан бөгөөд өмнөх бүх загваруудаас, ялангуяа Зөөлөн жүжигчин шүүмжлэгчээс илүү өөдрөг жүжигчин шүүмжлэгчийн загвар архитектурыг танилцуулсан.
Нийтлэл:
- ; Камил Чиосек, Куан Вуонг, Роберт Лофтин, Катя Хофман
- ; Ясухиро Фүжита (Preferred Networks, Inc.)*; Тошики Катаока (Preferred Networks, Inc.); Прабхат Нагаражан (Давуулагдсан сүлжээ); Такахиро Ишикава (Токиогийн их сургууль) [гадаад pdf холбоос].
- ; Данижар Хафнер (Google)*; Тимоти Лилликрап (DeepMind); Жимми Ба (Торонтогийн их сургууль); Мохаммад Норузи (Google Тархи)
StarCraft тоглогчид Alphastar загвартай тулалддаг (DeepMind)
5.ГАН
Генератив сүлжээнүүд олны анхаарлын төвд байсаар байна: олон бүтээлүүд математикийн нотолгоонд зориулж ванилийн GAN ашигладаг бөгөөд тэдгээрийг шинэ, ер бусын аргаар (график үүсгэгч загвар, цувралтай ажиллах, өгөгдөл дэх шалтгаан-үр дагаврын хамаарлыг ашиглах гэх мэт) ашигладаг.
Нийтлэл:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Дан Жан, Анна Хорева
- Лэй Сю, Мария Скулариду, Альфредо Куэста-Инфанте, Калян Веерамачанени
Илүү их ажил хүлээж авснаас хойш Доор бид хамгийн чухал илтгэлүүдийн талаар ярих болно.
Уригдсан яриа
"Нийгмийн оюун ухаан", Блэйз Агуера и Аркас (Google)
Энэхүү яриа нь машин сургалтын ерөнхий арга зүй, яг одоо салбарыг өөрчлөх хэтийн төлөвт анхаарлаа хандуулдаг - бидэнд ямар уулзвар тулгарч байна вэ? Тархи ба хувьсал хэрхэн ажилладаг вэ, яагаад бид байгалийн тогтолцооны хөгжлийн талаар мэддэг зүйлээ бага ашигладаг вэ?
ML-ийн аж үйлдвэрийн хөгжил нь Google-ийн хөгжлийн үе шаттай ихээхэн давхцаж байгаа бөгөөд энэ нь жилээс жилд NeurIPS дээр судалгаагаа нийтэлдэг:
- 1997 он - хайлтын төхөөрөмж, анхны серверүүд, жижиг тооцоолох хүчин чадал
- 2010 он - Жефф Дин Google Brain төслийг эхлүүлсэн бөгөөд энэ нь хамгийн эхэнд мэдрэлийн сүлжээний өсөлт юм.
- 2015 он – мэдрэлийн сүлжээний үйлдвэрлэлийн хэрэгжилт, дотоод төхөөрөмж дээр шууд нүүр царай таних, тензор тооцоололд тохирсон доод түвшний процессорууд - TPU. Google компани Coral ai - бөөрөлзгөнө пи-ийн аналог, мэдрэлийн сүлжээг туршилтын суулгацад нэвтрүүлэх мини-компьютерийг гаргалаа.
- 2017 он – Google нь төвлөрсөн бус сургалтыг хөгжүүлж, өөр өөр төхөөрөмжөөс мэдрэлийн сүлжээний сургалтын үр дүнг нэгтгэж, Android дээр нэг загварт оруулав.
Өнөөдөр бүхэл бүтэн салбар нь мэдээллийн аюулгүй байдал, нэгтгэх, орон нутгийн төхөөрөмж дээрх сургалтын үр дүнг хуулбарлахад зориулагдсан.
– бие даасан загварууд бие биенээсээ хамааралгүй суралцаж, дараа нь ховор тохиолдлууд, гажуудал, хувийн тохиргоонд тохируулан нэг загварт нэгтгэгддэг (эх мэдээллийг төвлөрүүлэхгүйгээр) ML-ийн чиглэл. Бүх Андройд төхөөрөмжүүд нь үндсэндээ Google-ийн нэг компьютерийн суперкомпьютер юм.
Google-ийн үзэж байгаагаар нэгдсэн сургалтанд суурилсан үүсгүүрийн загварууд нь "экпоненциал өсөлтийн эхний үе шатанд" байгаа ирээдүйн ирээдүйтэй чиглэл юм. Лекторын хэлснээр GAN нь амьд организмын популяцийн массын зан үйл, сэтгэх алгоритмыг хуулбарлахад суралцах чадвартай.
Хоёр энгийн GAN архитектурын жишээг ашигласнаар тэдгээрт оновчлолын замыг хайх нь тойрог хэлбэрээр эргэлдэж байгааг харуулсан бөгөөд энэ нь оновчлол хийхгүй гэсэн үг юм. Үүний зэрэгцээ эдгээр загварууд нь биологичдын нянгийн популяци дээр хийдэг туршилтыг дуурайлган маш амжилттай болж, тэднийг хоол хүнс хайхдаа зан үйлийн шинэ стратегид суралцахад хүргэдэг. Амьдрал оновчлолын функцээс өөрөөр ажилладаг гэж бид дүгнэж болно.
Явган GAN оновчлол
Одоо бидний машин сургалтын хүрээнд хийж байгаа бүх зүйл бол нарийн бөгөөд туйлын албан ёсны даалгавар боловч эдгээр формализмууд нь сайн ерөнхийдөө байдаггүй бөгөөд нейрофизиологи, биологи гэх мэт бидний сэдвийн мэдлэгтэй тохирохгүй байна.
Ойрын ирээдүйд нейрофизиологийн салбараас зээл авах нь үнэхээр үнэ цэнэтэй зүйл бол нейроны шинэ бүтэц, алдааны тархалтын механизмыг бага зэрэг шинэчлэх явдал юм.
Хүний тархи өөрөө мэдрэлийн сүлжээ шиг суралцдаггүй.
- Түүнд санамсаргүй анхдагч орцууд, тэр дундаа мэдрэхүйн болон бага насны үед бий болсон оролтууд байдаггүй
- Тэрээр төрөлхийн зөн совингийн хөгжлийн чиглэлтэй (нялх хүүхдээс хэл сурах хүсэл, босоо алхах)
Хувь хүний тархийг сургах нь доод түвшний ажил бөгөөд магадгүй бид бүлгийн хувьслын механизмыг дахин үйлдвэрлэхийн тулд бие биедээ мэдлэг дамжуулж буй хурдацтай өөрчлөгдөж буй хувь хүмүүсийн "колони" -ыг авч үзэх хэрэгтэй.
Одоо бид ML алгоритмд юу оруулж болох вэ:
- Хүн амын суралцах чадварыг баталгаажуулдаг эсийн удам угсааны загварыг ашиглах, гэхдээ хувь хүний амьдрал богино (“хувь хүний тархи”)
- Цөөн тооны жишээ ашиглан цөөн хэдэн удаа суралцах
- Илүү нарийн төвөгтэй нейроны бүтэц, бага зэрэг өөр идэвхжүүлэх функцууд
- "Геном" -ыг дараагийн үе рүү шилжүүлэх - буцаах алгоритм
- Нейрофизиологи болон мэдрэлийн сүлжээг холбосноор бид олон бүрэлдэхүүн хэсгүүдээс олон үйлдэлт тархи байгуулж сурах болно.
Энэ үүднээс авч үзвэл, SOTA шийдлүүдийн практик нь хор хөнөөлтэй тул нийтлэг даалгавар (жишиг) боловсруулахын тулд дахин хянан үзэх шаардлагатай.
"Veridical Data Science", Бин Ю (Беркли)
Энэхүү тайлан нь машин сургалтын загваруудыг тайлбарлах асуудал, тэдгээрийг шууд турших, шалгах арга зүйд зориулагдсан болно. Ямар ч бэлтгэгдсэн ML загварыг түүнээс гаргаж авах шаардлагатай мэдлэгийн эх сурвалж гэж ойлгож болно.
Олон салбарт, тэр дундаа анагаах ухаанд энэхүү далд мэдлэгийг задлан, загварын үр дүнг тайлбарлахгүйгээр загварыг ашиглах нь боломжгүй юм - эс тэгвээс үр дүн нь тогтвортой, санамсаргүй, найдвартай байх болно гэдэгт бид итгэлтэй байж чадахгүй бөгөөд энэ нь хүний амь насыг хохироохгүй. тэвчээртэй. Ажлын арга зүйн бүхэл бүтэн чиглэл нь гүнзгий суралцах парадигмын хүрээнд хөгжиж, түүний хил хязгаараас давж гардаг - veridical data science. Энэ юу вэ?
Бид шинжлэх ухааны нийтлэлийн чанар, загваруудыг дахин гаргах боломжтой болгохыг хүсч байна.
- урьдчилан таамаглах боломжтой
- тооцоолох боломжтой
- тогтвортой
Эдгээр гурван зарчим нь шинэ арга зүйн үндэс болж байна. ML загваруудыг эдгээр шалгуурын дагуу хэрхэн шалгах вэ? Хамгийн хялбар арга бол шууд тайлбарлах загвар (регресс, шийдвэрийн мод) бүтээх явдал юм. Гэсэн хэдий ч бид гүнзгий суралцахын үр шимийг шууд хүртэхийг хүсч байна.
Асуудлыг шийдвэрлэх хэд хэдэн одоо байгаа арга замууд:
- загварыг тайлбарлах;
- анхаарал дээр суурилсан аргуудыг ашиглах;
- Сургалт хийхдээ алгоритмын нэгдлүүдийг ашиглах, шугаман тайлбарлах боломжтой загварууд нь шугаман загвараас онцлогуудыг тайлбарлаж, мэдрэлийн сүлжээтэй ижил хариултуудыг таамаглаж сурахыг баталгаажуулах;
- сургалтын өгөгдлийг өөрчлөх, нэмэгдүүлэх. Үүнд дуу чимээ, хөндлөнгийн оролцоо, өгөгдлийг нэмэгдүүлэх зэрэг орно;
- Загварын үр дүн санамсаргүй биш бөгөөд бага зэргийн хүсээгүй хөндлөнгийн оролцоо (сөргөлдөөнтэй халдлага) -аас хамаарахгүй байхыг баталгаажуулах аливаа арга;
- бодит байдлын дараа, сургалтын дараа загварыг тайлбарлах;
- онцлог жинг янз бүрийн аргаар судлах;
- бүх таамаглалын магадлалыг судлах, ангийн хуваарилалт.
Сөрөг дайралт
Загварчлалын алдаа нь хүн бүрт үнэтэй байдаг: хамгийн сайн жишээ бол Рейнхарт, Рогов нарын ажил юм."" нь Европын олон орны эдийн засгийн бодлогод нөлөөлж, хэмнэлтийн бодлого явуулахад хүргэсэн боловч олон жилийн дараа өгөгдлийг сайтар нягталж, боловсруулалт хийсэн нь эсрэгээрээ үр дүнг харуулсан!
Аливаа ML технологи нь хэрэгжүүлэхээс эхлээд хэрэгжүүлэх хүртэл өөрийн гэсэн амьдралын мөчлөгтэй байдаг. Шинэ аргачлалын зорилго нь загварын амьдралын үе шат бүрт гурван үндсэн зарчмыг шалгах явдал юм.
Үр дүн:
- ML загварыг илүү найдвартай болгоход туслах хэд хэдэн төслийг боловсруулж байна. Энэ нь жишээлбэл, deeptune (холбоос: );
- Арга зүйг цаашид хөгжүүлэхийн тулд ML-ийн чиглэлээр гарсан нийтлэлийн чанарыг эрс сайжруулах шаардлагатай байна;
- Машины сургалтад техникийн болон хүмүүнлэгийн чиглэлээр олон талт сургалт, туршлагатай удирдагч хэрэгтэй.
“Хүний зан үйлийн загварчлалын машин сургалт: Боломж ба сорилтууд” Нуриа М Оливер, Альберт Али Салах
Хүний зан үйлийг загварчлах, түүний технологийн үндэс, хэрэглээний хэтийн төлөвт зориулсан лекц.
Хүний зан үйлийн загварчлалыг дараахь байдлаар хувааж болно.
- хувь хүний зан байдал
- жижиг бүлгийн хүмүүсийн зан байдал
- массын зан байдал
Эдгээр төрлүүд тус бүрийг ML ашиглан загварчилж болох боловч огт өөр оролтын мэдээлэл, онцлогтой. Төрөл бүр нь төсөл бүрийг даван туулах өөрийн гэсэн ёс зүйн асуудлуудтай байдаг:
- хувь хүний зан байдал - хувийн мэдээллийг хулгайлах, хуурамчаар үйлдэх;
- бүлэг хүмүүсийн зан байдал - нэрээ нууцлах, хөдөлгөөний талаархи мэдээлэл авах, утасны дуудлага гэх мэт;
хувь хүний зан байдал
Ихэнхдээ компьютерийн харааны сэдэвтэй холбоотой - хүний сэтгэл хөдлөл, хариу үйлдлийг таних. Магадгүй зөвхөн контекст, цаг хугацааны хувьд эсвэл өөрийн сэтгэл хөдлөлийн хувьсах чадварын харьцангуй цар хүрээтэй холбоотой байж болох юм. Слайд нь Газар дундын тэнгисийн эмэгтэйчүүдийн сэтгэл хөдлөлийн спектрийн контекстийг ашиглан Мона Лизагийн сэтгэл хөдлөлийг танихыг харуулж байна. Үр дүн: баяр баясгалантай инээмсэглэл, гэхдээ жигшил, зэвүүцэл. Үүний шалтгаан нь "төвийг сахисан" сэтгэл хөдлөлийг тодорхойлох техникийн аргатай холбоотой байх магадлалтай.
Цөөн бүлгийн хүмүүсийн зан байдал
Одоогоор хамгийн муу загвар нь мэдээлэл дутмаг байгаатай холбоотой. Жишээ болгон 2018-2019 оны бүтээлүүдийг үзүүлэв. хэдэн арван хүн дээр X олон арван видео (харьц. 100к++ зургийн өгөгдлийн багц). Энэ ажлыг хамгийн сайн загварчлахын тулд биеийн өндөр хэмжигч, термометр, микрофон бичлэг гэх мэт мэдрэгчээс олон төрлийн мэдээлэл хэрэгтэй.
Олон нийтийн зан байдал
Үйлчлүүлэгч нь НҮБ болон олон муж улс учраас хамгийн хөгжсөн газар юм. Гадна хяналтын камер, утасны цамхгийн мэдээлэл - төлбөр тооцоо, SMS, дуудлага, улсын хил хоорондын хөдөлгөөний мэдээлэл - энэ бүхэн хүмүүсийн хөдөлгөөн, нийгмийн тогтворгүй байдлын талаар маш найдвартай дүр зургийг өгдөг. Технологийн боломжит хэрэглээ: аврах ажиллагааг оновчтой болгох, онцгой байдлын үед тусламж үзүүлэх, хүн амыг цаг тухайд нь нүүлгэн шилжүүлэх. Ашигласан загварууд нь голчлон муу тайлбарлагдсаар байгаа - эдгээр нь янз бүрийн LSTM ба эргэлтийн сүлжээнүүд юм. НҮБ Европын бизнес эрхлэгчдэд аливаа судалгаанд шаардлагатай нэрээ нууцалсан мэдээллийг хуваалцахыг үүрэг болгосон шинэ хуулийн төслийг лоббидож байна гэсэн товч тайлбар байсан.
“Систем 1-ээс 2-р систем хүртэл гүнзгий суралцах”, Йошуа Бенгио
Жошуа Бенгиогийн лекцэнд гүнзгий суралцах нь зорилго тодорхойлох түвшинд мэдрэл судлалтай тулгардаг.
Бенгио Нобелийн шагналт Даниел Канеманы аргачлалын дагуу хоёр үндсэн төрлийн асуудлыг тодорхойлсон ("ном"")
1-р төрөл - Систем 1, бидний "автоматаар" хийдэг ухамсаргүй үйлдэл (эртний тархи): танил газар машин жолоодох, алхах, нүүр царайг таних.
төрөл 2 - Систем 2, ухамсартай үйлдэл (тархины бор гадар), зорилго тодорхойлох, дүн шинжилгээ хийх, сэтгэлгээ, нийлмэл даалгавар.
Хиймэл оюун ухаан өнөөг хүртэл зөвхөн эхний төрлийн даалгавруудад хангалттай өндөрт хүрсэн бол бидний даалгавар бол үүнийг хоёрдугаарт хүргэх, олон талт үйлдлүүдийг хийж, логик, танин мэдэхүйн өндөр түвшний ур чадвараар ажиллахыг заах явдал юм.
Энэ зорилгод хүрэхийн тулд дараахь зүйлийг санал болгож байна.
- NLP даалгавруудад анхаарлыг сэтгэлгээг загварчлах гол механизм болгон ашигла
- Ухамсар болон тэдгээрийн нутагшуулалтад нөлөөлдөг шинж чанаруудыг илүү сайн загварчлахын тулд мета-сургалт болон төлөөллийн сургалтыг ашиглах ба тэдгээрийн үндсэн дээр дээд түвшний үзэл баримтлалтай ажиллахад шилжих.
Дүгнэлтийн оронд урьсан илтгэл байна: Бенгио бол оновчлолын асуудал, SOTA болон шинэ архитектураас гадна ML-ийн салбарыг өргөжүүлэхийг хичээж буй олон эрдэмтдийн нэг юм.
Ухамсрын асуудлууд, хэл сэтгэхүй, нейробиологи, алгоритмд үзүүлэх нөлөөллийн хослол нь ирээдүйд биднийг хэр зэрэг хүлээж байгаа бөгөөд хүмүүс шиг "сэтгэдэг" машин руу шилжих боломжийг бидэнд олгох вэ гэдэг асуулт нээлттэй хэвээр байна.
Баярлалаа!
Эх сурвалж: www.habr.com