سلام به همه! نام من ساشا است، من مدیر ارشد فناوری و یکی از بنیانگذاران LoyaltyLab هستم. دو سال پیش، من و دوستانم، مانند همه دانش آموزان فقیر، عصر برای خرید آبجو از نزدیکترین فروشگاه نزدیک خانه خود رفتیم. ما خیلی ناراحت شدیم که خرده فروش با علم به اینکه برای آبجو می آییم، برای چیپس یا کراکر تخفیف نداد، هرچند این خیلی منطقی بود! ما متوجه نشدیم که چرا این وضعیت رخ می دهد و تصمیم گرفتیم شرکت خود را راه اندازی کنیم. خوب، به عنوان یک جایزه، هر جمعه بر روی همان تراشه ها به خودتان تخفیف بدهید.

و همه چیز به جایی رسید که من در حال ارائه مطالبی در مورد جنبه فنی محصول هستم NVIDIA GTC. ما خوشحالیم که کار خود را با جامعه به اشتراک می گذاریم، بنابراین گزارش خود را در قالب یک مقاله منتشر می کنم.

معرفی

مانند بقیه افراد در ابتدای سفر، ما با مروری بر نحوه ساخت سیستم های توصیه گر شروع کردیم. و محبوب ترین معماری نوع زیر بود:

از دو بخش تشکیل شده است:

1. نمونه گیری از نامزدها برای توصیه ها با استفاده از یک مدل ساده و سریع، معمولاً یک مدل مشترک.
2. رتبه بندی نامزدها با مدل محتوای پیچیده تر و کندتر، با در نظر گرفتن تمام ویژگی های ممکن در داده ها.

از این پس از اصطلاحات زیر استفاده خواهم کرد:

• نامزد / نامزد برای توصیه - یک جفت کاربر-محصول که به طور بالقوه می تواند در توصیه های تولید گنجانده شود.
• روش استخراج نامزدها / استخراج کننده / روش استخراج نامزد - فرآیند یا روشی برای استخراج "کاندیداهای توصیه" از داده های موجود.

گام اول معمولاً شامل استفاده از انواع مختلف فیلتر مشارکتی است. محبوب ترین - ALS. جای تعجب است که اکثر مقالات در مورد سیستم های توصیه گر فقط در مرحله اول پیشرفت های مختلفی را در مدل های مشارکتی نشان می دهند، اما هیچ کس در مورد سایر روش های نمونه گیری صحبت نمی کند. برای ما، رویکرد استفاده از مدل‌های مشارکتی و بهینه‌سازی‌های مختلف با آن‌ها با کیفیتی که انتظار داشتیم جواب نداد، بنابراین به طور خاص در این بخش به تحقیق پرداختیم. و در پایان مقاله نشان خواهم داد که چقدر توانستیم ALS را که پایه ما بود بهبود دهیم.

قبل از اینکه به توصیف رویکرد خود بپردازم، توجه به این نکته مهم است که در توصیه‌های بلادرنگ، زمانی که برای ما مهم است که داده‌هایی را که 30 دقیقه پیش رخ داده‌اند در نظر بگیریم، واقعاً رویکردهای زیادی وجود ندارند که بتوانند در زمان مورد نیاز کار کنند. اما، در مورد ما، ما باید توصیه ها را بیش از یک بار در روز جمع آوری کنیم، و در بیشتر موارد - یک بار در هفته، که به ما فرصت استفاده از مدل های پیچیده و بهبود کیفیت را چندین برابر می دهد.

بیایید به عنوان یک پایه در نظر بگیریم که تنها ALS چه معیارهایی را در مورد کار استخراج نامزدها نشان می دهد. معیارهای کلیدی که ما نظارت می کنیم عبارتند از:

• دقت - نسبت کاندیداهایی که به درستی انتخاب شده اند.
• یادآوری نسبت نامزدهایی است که از بین آنهایی که واقعاً در فاصله زمانی هدف قرار داشتند اتفاق افتاده است.
• امتیاز F1 - اندازه گیری F بر روی دو نقطه قبلی محاسبه می شود.

ما همچنین به معیارهای مدل نهایی پس از آموزش تقویت گرادیان با ویژگی های محتوای اضافی نگاه خواهیم کرد. همچنین 3 معیار اصلی در اینجا وجود دارد:

• precision@5 - میانگین درصد محصولات از 5 برتر از نظر احتمال برای هر خریدار.
• answer-rate@5 - تبدیل مشتریان از بازدید از فروشگاه به خرید حداقل یک پیشنهاد شخصی (5 محصول در یک پیشنهاد).
• میانگین roc-auc برای هر کاربر - متوسط roc-auc برای هر خریدار

توجه به این نکته ضروری است که همه این معیارها بر اساس اندازه گیری می شوند اعتبار متقابل سری زمانییعنی تمرین در k هفته اول اتفاق می افتد و k+1 هفته به عنوان داده های آزمون در نظر گرفته می شود. بنابراین، فراز و نشیب های فصلی کمترین تأثیر را بر تفسیر کیفیت مدل ها داشت. علاوه بر این در تمام نمودارها، محور ابسیسا عدد هفته را در اعتبارسنجی متقاطع نشان می‌دهد و محور مختصات مقدار متریک مشخص شده را نشان می‌دهد. همه نمودارها بر اساس داده های تراکنش یک مشتری هستند تا مقایسه بین یکدیگر صحیح باشد.

قبل از شروع به توصیف رویکرد خود، ابتدا به خط پایه نگاه می کنیم که یک مدل آموزش دیده با ALS است.
معیارهای بازیابی کاندید:

معیارهای نهایی:

من با تمام پیاده سازی الگوریتم ها به عنوان نوعی فرضیه تجاری رفتار می کنم. بنابراین، تقریباً، هر مدل مشارکتی را می توان به عنوان یک فرضیه در نظر گرفت که "مردم تمایل دارند آنچه را که افراد مشابه آنها می خرند بخرند." همانطور که قبلاً گفتم، ما خودمان را به چنین معناشناسی محدود نکردیم، و در اینجا چند فرضیه وجود دارد که روی داده ها در خرده فروشی آفلاین به خوبی کار می کنند:

1. که قبلا خریده بودم.
2. مشابه چیزی که قبلا خریدم.
3. دوره خرید طولانی گذشته.
4. محبوب بر اساس طبقه بندی/برند.
5. خرید جایگزین اجناس مختلف هفته به هفته (زنجیره مارکف).
6. محصولات مشابه به خریداران، با توجه به ویژگی های ساخته شده توسط مدل های مختلف (Word2Vec، DSSM، و غیره).

قبلا چی خریدی؟

واضح ترین اکتشافی که در خرده فروشی مواد غذایی بسیار خوب عمل می کند. در اینجا همه کالاهایی را که دارنده کارت وفاداری در K روز گذشته (معمولاً 1-3 هفته) یا K روز یک سال پیش خریداری کرده است، می گیریم. تنها با استفاده از این روش، معیارهای زیر را بدست می آوریم:

در اینجا کاملاً بدیهی است که هر چه دوره را طولانی‌تر کنیم، یادآوری بیشتر و دقت کمتری داریم و بالعکس. به طور متوسط، "2 هفته گذشته" نتایج بهتری برای مشتریان به ارمغان می آورد.

مشابه چیزی که قبلا خریدم

تعجب آور نیست که برای خرده فروشی مواد غذایی «چیزی که قبلاً خریدم» به خوبی کار می کند، اما استخراج نامزدها فقط از چیزهایی که کاربر قبلاً خریداری کرده است چندان جالب نیست، زیرا بعید است که خریدار را با محصول جدید شگفت زده کند. بنابراین، ما پیشنهاد می‌کنیم که این اکتشافی را با استفاده از مدل‌های مشترک یکسان بهبود دهیم. از بردارهایی که در طول آموزش ALS دریافت کردیم، می‌توانیم محصولات مشابه آنچه کاربر قبلاً خریداری کرده است، دریافت کنیم. این ایده شباهت زیادی به «ویدیوهای مشابه» در سرویس‌های مشاهده محتوای ویدیویی دارد، اما از آنجایی که ما نمی‌دانیم کاربر در یک لحظه خاص چه چیزی می‌خورد یا می‌خرد، فقط می‌توانیم به دنبال موارد مشابه با آنچه قبلاً خریده است بگردیم. از آنجایی که ما از قبل می دانیم که چقدر خوب کار می کند. با اعمال این روش بر روی تراکنش‌های کاربران در ۲ هفته گذشته، معیارهای زیر را به دست می‌آوریم:

اینجا k - تعداد محصولات مشابهی که برای هر محصول خریداری شده توسط خریدار در 14 روز گذشته بازیابی شده است.
این رویکرد به‌ویژه برای مشتری ما کارآمد بود، زیرا توصیه نکردن چیزی که قبلاً در سابقه خرید کاربر وجود داشت برای آنها بسیار مهم بود.

دیر خرید

همانطور که قبلا متوجه شدیم، به دلیل فراوانی خرید کالا، رویکرد اول برای نیازهای خاص ما به خوبی جواب می دهد. اما در مورد کالاهایی مانند پودر لباسشویی/شامپو/غیره چطور؟ یعنی با محصولاتی که بعید است هر هفته یک یا دو هفته به آنها نیاز باشد و روش های قبلی نمی توانند استخراج شوند. این منجر به ایده زیر می شود - پیشنهاد می شود دوره خرید هر محصول به طور متوسط ​​برای مشتریانی که محصول را بیشتر خریداری کرده اند محاسبه شود. k یک بار. و سپس آنچه را که خریدار به احتمال زیاد قبلاً تمام کرده است استخراج کنید. دوره های محاسبه شده برای کالاها را می توان با چشمان خود از نظر کفایت بررسی کرد:

و سپس به بررسی این موضوع می پردازیم که آیا پایان دوره محصول در بازه زمانی زمانی که توصیه ها در حال تولید هستند قرار می گیرد یا خیر و نمونه آنچه اتفاق می افتد را بررسی خواهیم کرد. رویکرد را می توان اینگونه نشان داد:

در اینجا ما 2 مورد اصلی داریم که می توان آنها را در نظر گرفت:

1. آیا لازم است از مشتریانی که محصول را کمتر از K بار خریده اند، از محصولات نمونه برداری شود؟
2. آیا در صورتی که پایان دوره آن قبل از شروع بازه هدف باشد، نمونه برداری لازم است؟

نمودار زیر نشان می دهد که این روش چه نتایجی را با فراپارامترهای مختلف به دست می آورد:

ft - فقط مشتریانی را انتخاب کنید که حداقل K (در اینجا K = 5) بار محصول را خریداری کرده اند
tm - فقط نامزدهایی را انتخاب کنید که در فاصله زمانی هدف قرار دارند

جای تعجب نیست که او قادر است (0، 0) بزرگترین فراخوان و کوچکترین دقت، زیرا در این شرایط بیشترین نامزدها بازیابی می شوند. با این حال، بهترین نتایج زمانی به دست می‌آید که برای مشتریانی که یک محصول خاص را کمتر از آن خریداری کرده‌اند، از محصولات نمونه برداری نکنیم k زمان و عصاره، از جمله کالاهایی که پایان دوره آن قبل از فاصله زمانی هدف قرار می گیرد.

محبوب بر اساس دسته

ایده نسبتا واضح دیگر این است که از محصولات محبوب در دسته ها یا برندهای مختلف نمونه برداری کنید. در اینجا ما برای هر خریدار محاسبه می کنیم top-k دسته‌ها/برندهای «مورد علاقه» و «محبوب» را از این دسته/برند استخراج کنید. در مورد ما، ما "مورد علاقه" و "محبوب" را با تعداد خرید محصول تعیین می کنیم. مزیت اضافی این روش، کاربرد آن در حالت شروع سرد است. یعنی برای مشتریانی که یا خریدهای بسیار کمی انجام داده اند یا مدت زیادی است که به فروشگاه نرفته اند یا به تازگی کارت وفاداری صادر کرده اند. برای آنها، ذخیره اقلامی که در بین مشتریان محبوب هستند و دارای سابقه هستند آسانتر و بهتر است. معیارهای به دست آمده عبارتند از:

در اینجا عدد بعد از کلمه "رده" به معنای سطح تودرتوی دسته است.

به طور کلی، تعجب آور نیست که دسته های محدودتر به نتایج بهتری دست پیدا می کنند، زیرا آنها محصولات "مورد علاقه" دقیق تری را برای خریداران استخراج می کنند.

خرید جایگزین کالاهای مختلف از هفته به هفته

یک رویکرد جالب که من در مقالاتی در مورد سیستم های توصیه گر ندیده ام، روش آماری نسبتاً ساده و در عین حال کارآمد زنجیره های مارکوف است. در اینجا ما 2 هفته مختلف وقت می گیریم، سپس برای هر مشتری جفت محصول می سازیم [خرید در هفته i]-[خرید در هفته ج]، که در آن j > i، و از اینجا برای هر محصول احتمال تغییر به محصول دیگر را در هفته آینده محاسبه می کنیم. یعنی برای هر جفت کالا producti-productj تعداد آنها را در جفت های پیدا شده می شماریم و بر تعداد جفت ها تقسیم می کنیم، جایی که محصولات در هفته اول بود برای استخراج نامزدها، آخرین رسید خریدار را می گیریم و استخراج می کنیم top-k محتمل ترین محصولات بعدی از ماتریس انتقال که دریافت کردیم. فرآیند ساخت ماتریس انتقال به صورت زیر است:

از مثال های واقعی در ماتریس احتمال انتقال، پدیده های جالب زیر را می بینیم:

در اینجا می توانید متوجه وابستگی های جالبی شوید که در رفتار مصرف کننده آشکار می شود: به عنوان مثال، دوستداران مرکبات یا یک برند شیر که احتمالاً از آن به دیگری تغییر می دهند. همچنین جای تعجب نیست که محصولات با دفعات تکرار زیاد، مانند کره، به اینجا ختم شوند.

معیارها در روش با زنجیره مارکوف به شرح زیر است:

k - تعداد محصولاتی که برای هر محصول خریداری شده از آخرین تراکنش خریدار بازیابی می شود.
همانطور که می بینیم بهترین نتیجه با پیکربندی k=4 نشان داده می شود. افزایش در هفته 4 را می توان با رفتار فصلی در تعطیلات توضیح داد. 

محصولات مشابه به خریداران، با توجه به ویژگی های ساخته شده توسط مدل های مختلف

اکنون به سخت ترین و جالب ترین قسمت رسیده ایم - جستجوی نزدیکترین همسایگان بر اساس بردار مشتریان و محصولات ساخته شده بر اساس مدل های مختلف. در کار ما از 3 مدل از این قبیل استفاده می کنیم:

• ALS
• Word2Vec (Item2Vec برای چنین کارهایی)
• DSSM

ما قبلاً با ALS برخورد کرده ایم، می توانید در مورد نحوه یادگیری آن مطالعه کنید اینجا. در مورد Word2Vec، ما از پیاده سازی شناخته شده مدل از استفاده می کنیم جنسیس. با قیاس با متون، پیشنهاد را به عنوان رسید خرید تعریف می کنیم. بنابراین، هنگام ساخت یک بردار محصول، مدل یاد می‌گیرد که برای محصول موجود در رسید، «زمینه» آن (محصولات باقی‌مانده در رسید) را پیش‌بینی کند. در داده های تجارت الکترونیک، بهتر است از جلسه خریدار به جای رسید استفاده کنید؛ بچه ها از اوزون. و DSSM برای تجزیه جالب تر است. در ابتدا، توسط بچه های مایکروسافت به عنوان یک مدل برای جستجو نوشته شد، مقاله اصلی تحقیق را می توانید اینجا بخوانید. معماری مدل به صورت زیر است:

اینجا Q - پرس و جو، پرس و جو جستجوی کاربر، D[i] - سند، صفحه اینترنتی. ورودی مدل به ترتیب ویژگی های درخواست و صفحات است. بعد از هر لایه ورودی تعدادی لایه کاملاً متصل (پرسپترون چند لایه) وجود دارد. سپس، مدل یاد می گیرد که کسینوس بین بردارهای به دست آمده در آخرین لایه های مدل را کمینه کند.
وظایف توصیه دقیقاً از همان معماری استفاده می کنند، فقط به جای درخواست یک کاربر وجود دارد و به جای صفحات محصولات وجود دارد. و در مورد ما، این معماری به موارد زیر تبدیل می شود:

حال، برای بررسی نتایج، باقی مانده است که آخرین نکته را پوشش دهیم - اگر در مورد ALS و DSSM بردارهای کاربر را به صراحت تعریف کرده باشیم، در مورد Word2Vec فقط بردارهای محصول را داریم. در اینجا، برای ساخت بردار کاربر، 3 رویکرد اصلی را تعریف کرده ایم:

1. فقط بردارها را اضافه کنید، سپس برای فاصله کسینوس معلوم می شود که به سادگی محصولات را در تاریخ خرید میانگین گرفته ایم.
2. جمع بندی برداری با مقداری وزن دهی زمانی.
3. توزین کالا با ضریب TF-IDF.

در مورد وزن دهی خطی بردار خریدار، از این فرضیه نتیجه می گیریم که محصولی که کاربر دیروز خریداری کرده، نسبت به محصولی که شش ماه پیش خریده است، تأثیر بیشتری بر رفتار او دارد. بنابراین ما هفته قبل خریدار را با شانس 1 در نظر می گیریم و اتفاقی که بعدا با شانس ½، ⅓ و غیره افتاد:

برای ضرایب TF-IDF دقیقاً مانند TF-IDF برای متون عمل می کنیم، فقط خریدار را سند و چک را به ترتیب پیشنهاد می کنیم، کلمه محصول است. به این ترتیب، بردار کاربر بیشتر به سمت کالاهای کمیاب تغییر می کند، در حالی که کالاهای متداول و آشنا برای خریدار تغییر چندانی در آن ایجاد نمی کند. رویکرد را می توان اینگونه نشان داد:

حالا بیایید به معیارها نگاه کنیم. نتایج ALS به این صورت است:

معیارهای Item2Vec با تغییرات مختلف ساخت بردار خریدار:

در این مورد، دقیقاً همان مدلی که در خط پایه ما استفاده می شود. تنها تفاوت این است که از کدام k استفاده خواهیم کرد. برای اینکه فقط از مدل‌های مشترک استفاده کنید، باید برای هر مشتری حدود 50 تا 70 محصول نزدیک بگیرید.

و معیارها بر اساس DSSM:

چگونه همه روش ها را ترکیب کنیم؟

شما می گویید جالب است، اما با چنین مجموعه بزرگی از ابزارهای استخراج نامزد چه باید کرد؟ چگونه پیکربندی بهینه برای داده های خود را انتخاب کنید؟ در اینجا ما چندین مشکل داریم:

1. لازم است به نحوی فضای جستجو برای هایپرپارامترها در هر روش محدود شود. البته در همه جا گسسته است، اما تعداد نقاط ممکن بسیار زیاد است.
2. با استفاده از نمونه محدود کوچکی از روش های خاص با فراپارامترهای خاص، چگونه می توانید بهترین پیکربندی را برای متریک خود انتخاب کنید؟

ما هنوز پاسخ قطعی صحیحی برای سوال اول پیدا نکرده‌ایم، بنابراین از موارد زیر پیش می‌رویم: برای هر روش، بسته به آماری از داده‌هایی که در اختیار داریم، یک محدودکننده فضای جستجوی Hyperparameter نوشته می‌شود. بنابراین، با دانستن میانگین دوره بین خرید از افراد، می‌توان حدس زد که در چه دوره‌ای از روش «چیزی که قبلاً خریداری شده» و «دوره خرید طولانی‌مدت گذشته» استفاده کنیم.

و بعد از اینکه تعداد کافی از تغییرات روش‌های مختلف را گذراندیم، موارد زیر را یادداشت می‌کنیم: هر پیاده‌سازی تعداد معینی از نامزدها را استخراج می‌کند و مقدار مشخصی از معیار کلیدی را برای ما دارد (یادآوری). ما می خواهیم تعداد معینی از نامزدها را بسته به توان محاسباتی مجاز خود با بالاترین متریک ممکن بدست آوریم. در اینجا مشکل به زیبایی در مشکل کوله پشتی فرو می رود.

در اینجا تعداد نامزدها وزن شمش است و روش فراخوان مقدار آن است. با این حال، 2 نکته دیگر وجود دارد که باید در اجرای الگوریتم مورد توجه قرار گیرد:

• ممکن است روش‌ها در نامزدهایی که بازیابی می‌کنند همپوشانی داشته باشند.
• در برخی موارد، استفاده از یک روش دو بار با پارامترهای مختلف صحیح خواهد بود و خروجی نامزد اولی زیرمجموعه دومی نخواهد بود.

برای مثال، اگر پیاده‌سازی روش «چیزی که قبلاً خریده‌ام» را با فواصل زمانی مختلف برای بازیابی در نظر بگیریم، مجموعه‌های نامزدهای آن‌ها در داخل یکدیگر قرار می‌گیرند. در عین حال، پارامترهای مختلف در "خریدهای دوره ای" در خروجی تقاطع کامل را فراهم نمی کند. بنابراین، رویکردهای نمونه‌گیری با پارامترهای مختلف را به بلوک‌هایی تقسیم می‌کنیم به طوری که از هر بلوک می‌خواهیم حداکثر یک رویکرد استخراج با فراپارامترهای خاص داشته باشیم. برای این کار باید در اجرای مشکل کوله پشتی کمی هوشمندانه عمل کنید، اما مجانبی و نتیجه تغییر نخواهد کرد.

این ترکیب هوشمند به ما امکان می دهد در مقایسه با مدل های ساده مشترک، معیارهای زیر را بدست آوریم:

در معیارهای نهایی تصویر زیر را مشاهده می کنیم:

با این حال، در اینجا می توانید متوجه شوید که یک نکته کشف نشده برای توصیه هایی وجود دارد که برای تجارت مفید است. اکنون یاد گرفته‌ایم که چگونه می‌توانیم پیش‌بینی کنیم که کاربر چه چیزی را می‌خرد، مثلاً در هفته آینده. اما صرف تخفیف دادن بر روی چیزی که او قبلاً خریداری خواهد کرد، خیلی جالب نیست. اما به حداکثر رساندن انتظارات، به عنوان مثال، از معیارهای زیر بسیار جالب است:

1. حاشیه / گردش مالی بر اساس توصیه های شخصی.
2. میانگین چک مشتری
3. دفعات بازدید.

بنابراین احتمالات به‌دست‌آمده را در ضرایب مختلف ضرب می‌کنیم و آن‌ها را دوباره رتبه‌بندی می‌کنیم تا محصولاتی که بر معیارهای بالا تأثیر می‌گذارند به بالا برسند. هیچ راه حل آماده ای وجود ندارد که بهترین روش برای آن استفاده شود. ما حتی با چنین ضرایبی مستقیماً در تولید آزمایش می کنیم. اما در اینجا تکنیک های جالبی وجود دارد که اغلب بهترین نتایج را به ما می دهند:

1. در قیمت/حاشیه محصول ضرب کنید.
2. ضرب در رسید متوسطی که محصول در آن ظاهر می شود. بنابراین کالاهایی به وجود می آیند که معمولاً چیز دیگری را با آنها می برند.
3. بر اساس این فرضیه که این محصول مردم را به بازگشت بیشتر به آن تحریک می کند، در میانگین دفعات بازدید خریداران این محصول ضرب کنید.

پس از انجام آزمایشات با ضرایب، معیارهای زیر را در تولید به دست آوردیم:

اینجا تبدیل کلی محصولات - سهم محصولات خریداری شده از همه محصولات در توصیه هایی که ایجاد کردیم.

خواننده با دقت متوجه تفاوت قابل توجهی بین معیارهای آفلاین و آنلاین خواهد شد. این رفتار با این واقعیت توضیح داده می شود که همه فیلترهای پویا برای محصولاتی که می توانند توصیه شوند را نمی توان در هنگام آموزش مدل در نظر گرفت. برای ما، زمانی که نیمی از نامزدهای بازیابی شده را می توان فیلتر کرد، یک داستان عادی است؛ این ویژگی در صنعت ما معمول است.

از نظر درآمد، داستان زیر به دست می آید، مشخص است که پس از راه اندازی توصیه ها، درآمد گروه آزمایشی به شدت در حال رشد است، اکنون میانگین افزایش درآمد با توصیه های ما 3-4٪ است:

در پایان، می‌خواهم بگویم که اگر به توصیه‌های غیر هم‌زمان نیاز دارید، در آزمایش‌هایی که با استخراج نامزدهای توصیه‌ها انجام می‌شود، می‌توان افزایش بسیار زیادی در کیفیت پیدا کرد. زمان زیادی برای نسل آنها، ترکیب بسیاری از روش های خوب را ممکن می کند، که در مجموع نتایج عالی برای کسب و کار به همراه خواهد داشت.

خوشحال می شوم در نظرات با هرکسی که مطالب را جالب می بیند چت کنم. می توانید سوالات خود را به صورت شخصی از من بپرسید تلگراف. من همچنین نظرات خود را در مورد هوش مصنوعی / استارتاپ ها در من به اشتراک می گذارم کانال تلگرام - خوش آمدی :)

منبع: www.habr.com