Исследование Open Source в области машинного обучения и работы с данными в РФ

Участники опенсорс-сообщества Университета ИТМО опубликовали результаты исследования, в котором проанализировали особенности и тенденции в развитии и использовании в России общемирового открытого ПО в области машинного обучения и работы с данными. В отчёте приведены мнения экспертов Яндекса, Сбера, Т-Банка, VK, Wildberries, Рокет Контрола, CodeScoring и МФТИ, роанализированы открытые данные из GitHub и смежных сервисов, построены рейтинги, графики и таблицы.

В процессе проведения исследования был реализован парсер данных из GitHub API и сторонних сервисов (таких, как pepy, star-history и др.), на основе которых проанализированы данные о местоположении пользователей, использующих открытые проекты и участвующих в их развитии. Также уделено внимание существующим опенсорс-сообществам, другим исследованиям на схожие темы, перспективам развития опенсорса в эпоху ИИ и многому другому.

Топ-5 используемых в РФ решений:

• ML и алгоритмы:
  • CatBoost
  • LightAutoML
  • PyTorch
  • Scikit-learn
  • TensorFlow
• Математика:
  • NumPy
  • Optuna
  • SciPy
  • Theano
  • Statsmodels
• Инфраструктура:
  • YTsaurus
  • Spark
  • Hadoop
  • Pandas
  • Caffe
• Визуализация и BI:
  • Metabase
  • Superset
  • DataLens
  • Matplotlib
  • Plotly
• Хранение данных:
  • MongoDB
  • Tarantool
  • PostgreSQL
  • ClickHouse
  • YDB
• MLOps:
  • LangChain
  • Kubeflow
  • MLflow
  • WandB
  • GigaChain

Источник: opennet.ru