Выпуск Snoop 1.3.3, OSINT-инструмента для сбора информации о пользователе из открытых источников

Опубликован выпуск проекта Snoop 1.3.3, развивающего криминалистический OSINT-инструмент, который разыскивает учётные записи пользователей в публичных данных (разведка на основе открытых источников). Программа анализирует различные сайты, форумы и социальные сети на предмет наличия искомого имени пользователя, т.е. позволяет определить на каких сайтах имеется пользователь с указанным ником. Проект разработан на материалах исследовательской работы в области скрапинга публичных данных. Сборки подготовлены для Linux и Windows.

Код написан на языке Python и распространяется под лицензией, ограничивающей применение только для личного пользования. При этом проект является ответвлением от кодовой базы проекта Sherlock, поставляемой под лицензией MIT (форк был создан из-за невозможности расширить базу сайтов).

Snoop внесён в российский Единый реестр российских программ для электронных вычислительных машин и баз данных с заявленным кодом 26.30.11.16: «Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515». На данный момент Snoop выслеживает наличие пользователя на 2279 интернет ресурсах в полной версии и по самым популярным ресурсам в Demo-версии.

Основные изменения:

• В архив добавлены видео-подсказки по быстрому запуску snoop для пользователей новичков, которые не работали с CLI.
• Добавлен текстовый отчет: файл ‘bad_nicknames.txt’ в который записываются пропущенные дата/nickname(s) (недопустимые имена/телефоны/некоторые_спецсимволы), обновляя файл (режим дозаписи) в ходе поиска, например с опцией ‘-u’.
• Добавлен режим корректной остановки ПО с высвобождением ресурсов для разных версий/платформ Snoop Project (ctrl+c).
• Добавлена новая опция ‘—headers’ ‘-H’: задать вручную пользовательский user-agent. По умолчанию на каждый сайт создаётся случайный, но реальный юзерагент или выбирается/переопределяется из БД Snoop с расширенным заголовком для обхода некоторых ‘защит CF’.
• Добавлена snoop-заставка и некоторые emoji, когда nickname(s) для поиска не заданы или выбраны противоречивые параметры в аргументах CLI (исключение: snoop for Windows OS — старая CLI OS Windows 7).
• Добавлены различные информационные панели: в отображении БД list-all; в режим verbose; новый блок ‘snoop-info’ с опцией ‘-V’; с опцией -u разделение на группы nickname(s): валидные/невалидные/дубликаты; в CLI Yandex_parser-a (full-версии).
• Обновлён режим поиска с опцией ‘—userlist’ ‘-u’ расширен алгоритм детектирования nickname(s)/email (просто попробуйте его использовать снова).
• Ускорен в разы вывод БД в CLI для методов опции ‘list-all’.
• Для Snoop for Termux (Android) добавлено авто-открытие результатов поиска во внешнем браузере без перекрытия результатов в CLI (по желанию пользователя открытие результатов во внешнем веб-браузере можно проигнорировать).
• Обновлен внешний вид вывода результатов в CLI при поиске nickname(s). Обновлен вывод лицензии в стиле Windows XP. Обновлён прогресс (ранее прогресс обновлялся по мере поступления данных и из-за этого казалось, что подвис в full-версиях), прогресс обновляется несколько раз в сек. или по мере поступления данных в режиме вербализации опции ‘-v’.
• В html-отчеты добавлена новая кнопка ‘Doc’, ведущая на документацию ‘Общее руководство Snoop Project.pdf’/онлайн.
• В txt-отчеты также, как и в html/csv-отчеты добавлен параметр ‘сессия’.
• Обновлены все опции Snoop Project, которые приближены к рекомендациям POSIX (см snoop —help). Старый вариант использования аргументов в CLI с подтверждением [y] обратно совместим.
• Yandex_parser обновлён до версии 0.5: убрано — Я.коллекции (ресурс неактивен). Добавлен Я.аватар: logina/email. В многопользовательский режим в txt; cli; html добавлены/обновлены метрики: ‘валидные логины/незареганные_пользователи/необработанные данные/дубликаты’, метки логинов.
• Подкаталоги сохранённых отчетов/результатов группируются: plugin(s) в один каталог, nickname(s) в другой.
• Налажен корректный выход из ПО при попытке с опцией ‘-v’ протестировать сеть при её отсутствии/сбое .
• Исправлено в CLI: индивидуальная сессия/трафик/время при поиске в одной сессии нескольких имен или с опцией ‘-u’ или с опцией ‘-v’.
• Исправлено в csv-отчетах: время отклика сайта разделяется ‘верным дробным знаком’:: точка или запятая с учётом локали пользователя (т.е. число в таблице всегда цифра независимо от дробного знака, что прямо влияет на сортировку результатов по параметру. Данные ниже 1 Кб округляются точнее, свыше 1 Кб без дробной части. Общее время (было в мс., теперь в с./сот). При сохранении отчетов с опцией ‘-S’ или в обычном режиме для сайтов использующих специфичный метод детектирования nickname(s): (username.salt) теперь так же подсчитываются размер данных сессии.
• Выполнена миграция build-версий Snoop Project с python 3.7 на python 3.8 (кроме EN-версий).

Источник: opennet.ru