Направихме новинарски агрегатор с фокус върху криптовалутите - intwt.com

Здравей Habr!

Пазарът на криптовалути расте всеки ден, а с него и количеството информация расте.

Ето защо решихме да стартираме проекта intwt.com е агрегатор на новини и публикации от социалните мрежи за търговци и всички, които се интересуват от криптовалути.

Простият, удобен и разбираем интерфейс на услугата е проектиран да я превърне в наистина ефективен инструмент за наблюдение на важна информация.

В момента анализираме повече от 3 хиляди източника на новини на английски, руски и китайски, в резултат на което получаваме около 3 хиляди нови материала всеки ден.

Всеки материал се анализира от системата за споменаване на криптовалути и популярност в социалните мрежи.

С помощта на филтъра за новини можете да персонализирате своя индивидуален канал, да го запазите в акаунта си и, ако е необходимо, да включите излъчване във вашия канал в Telegram.

Постоянно следим важни индикатори за 2716 криптовалути и следим появата на нови валути на пазара.

Използвайки специален интерфейс за преглед на списъка с криптовалути, можете да видите лидерите на растеж и спад на пазара.

За всяка валута можете да видите последните новини и всички индикатори на отделна страница, например Цена, Капитализация и т.н., както и ценова диаграма за целия период на съществуване на валутата на пазара.

В личния си акаунт можете да създадете портфолио от криптовалута и да проследявате динамиката му на диаграма.

В момента не мислим за монетизация, защото... Услугата е много млада и набира аудитория, но най-вероятно ще бъде реклама и платен абонаментен достъп до PRO функции.

Някои технически подробности

Услугата може да бъде разделена на две части

1. Frontend е SPA приложение, написано на Vue и backend, написано на Go, което разпространява минимален HTML със съдържание за търсачките и код за стартиране на SPA приложението. Този подход ви позволява да избегнете изобразяването на сървъра и да сте приятелски настроени към търсачките. Въпреки че Yandex веднага ни блокира като врата.
2. Парсерът е обособен в отделна услуга със собствена база данни и админ панел, така че безпроблемно да се премести на отделен сървър. Тук използвахме Go, PostgreSQL, Beanstalkd, за да организираме опашки за анализиране и Rotating TOR proxy, което ни позволява да избегнем блокирането на IP. За да анализирате някои сайтове, трябва да използвате chrome без браузър, за да заобиколите механизмите за сигурност. Административният панел за анализатора е направен в Laravel.

Всички услуги работят в Docker, като в момента работят 19 контейнера. Всичко това се внедрява чрез GitLab CI. Използваме Prometheus и Grafana за системен мониторинг и Sentry за регистрационни файлове за грешки.

Какво се планира по-нататък?

Разработване на мобилно приложение за iOS и Android, създаване на платформа за специалисти с възможност за публикуване на оригинални статии, видео и ревюта за криптовалути. Абонирайте се за автора. И разбира се, автоматизиран регресионен анализ на влиянието на новините върху движението на цените на валутата.

Ще се радваме да чуем критики или идеи за развитие на проекта.

PS истинският автор на поста Дмитрий, всички въпроси към него.

Източник: www.habr.com