Мы сделали агрегатор новостей с фокусом на криптовалюты — intwt.com

Привет Хабр!

Рынок криптовалют растет каждый день, а вместе с ним растет и кол-во информации.

Поэтому мы решили запустить проект intwt.com — это агрегатор новостей и постов из соцсетей для трейдеров и всех кто интересуется криптовалютами.

Простой, удобный и понятный интерфейс сервиса призван сделать его реально эффективным инструментом для мониторинга важной информации.

На данный момент мы анализируем более 3 тысяч новостных источников, на английском, русском и китайском языках, в результате мы получаем около 3 тысяч новых материалов ежедневно.

Каждый материал анализируется системой на упоминания криптовалют и популярность в соцсетях.

Используя фильтр новостей вы можете настроить свою индивидуальную ленту, сохранить ее в своем аккаунте и если нужно включить трансляцию в свой телеграм канал.

Мы постоянно отслеживаем важные индикаторы по 2716 криптовалютам и следим за появлением новых валют на рынке.

Используя специальный интерфейс для просмотра списка криптовалют вы можете видеть лидеров роста и падения на рынке.

Для каждой валюты можно посмотреть последние новости и все индикаторы на отдельной странице, например такие как Цена, Капитализация и т.д., а также график цены за весь период существования валюты на рынке.

В личном кабинете вы можете сформировать портфель криптовалют и отслеживать его динамику на графике.

На данный момент о монетизации не думаем, т.к. сервис совсем молодой и набирает аудиторию, но скорее всего это будет реклама и платный доступ по подписке к PRO функциям.

Немного технических деталей

Сервис можно разделить на две части

1. Фронтенд представляет из себя SPA приложение написанное на Vue и бэкенд написанный на Go, который раздает минимальный HTML с контентом для поисковиков и код для запуска SPA приложения. Такой подход позволяет избежать серверного рендеринга и дружить с поисковиками. Хотя Яндекс нас сразу заблокировал, как дорвея.
2. Парсер выделен в отдельный сервис со своей базой и админкой, так чтобы его можно было без проблем вынести на отдельный сервер. Здесь мы использовали Go, PostgreSQL, Beanstalkd для организации очередей парсинга и Rotating TOR proxy который позволяет избежать блокировки по IP. Для парсинга некоторых сайтов приходится использовать browserless chrome, чтобы обойти защитные механизмы. Админка для парсера сделана на Laravel.

Все сервисы работают внутри Docker, на данный момент запущено 19 контейнеров. Все это деплоится через GitLab CI. Для мониторинга системы используем Prometheus и Grafana, а для лога ошибок Sentry.

Что планируется дальше?

Разработка мобильного приложения для ios и android, создание платформы для специалистов с возможностью размещать авторские статьи, видео и обзоры по криптовалютам. Подписка на автора. Ну и конечно автоматизированный регрессионный анализ влияния новостей на движение цены валюты.

Будем рады услышать критику или идеи для развития проекта.

P.S. настоящий автор поста Дмитрий, все вопросы к нему.

Источник: habr.com