Uscrapper: Веб-парсер OSINT - UPROGER | Программирование

Краткая информация

Uscrapper 2.0 – это надежный OSINT-парсер, предназначенный для эффективного сбора разнообразной персональной информации с веб-сайтов. Этот мощный инструмент использует методы веб-скреппинга и регулярные выражения для извлечения адресов электронной почты, ссылок на социальные сети, имен авторов, геолокации, номеров телефонов и имен пользователей как из гиперссылочных, так и из негиперссылочных источников на веб-странице. Для удобства работы в Uscrapper 2.0 предусмотрена возможность создания комплексных отчетов, содержащих все извлеченные данные.

Требования и процесс установки

Требования:

Python 3
модуль pip
Стабильное подключение к Интернету

Процесс установки

Клонируйте репозиторий инструмента следующим образом
После загрузки перейдите в только что клонированный каталог и измените режим работы сценария “install.sh”, чтобы предоставить полный доступ к инструменту.

git clone https://github.com/z0m31en7/Uscrapper.git
cd Uscrapper/install/ 
chmod +x ./install.sh && ./install.sh      #For Unix/Linux systems

После этого пользователь может приступить к работе с инструментом.

Использование

Синтаксис командной строки

Для начала попробуйте следующий синтаксис командной строки

python Uscrapper-v2.0.py [-h] [-u URL] [-c (INT)] [-t THREADS] [-O] [-ns]

Пример использования

В демонстрационных целях инструмент будет использоваться для извлечения информации из организации, занимающейся эспортом товаров.

Укажите, с какого сайта необходимо извлечь информацию, а затем количество ссылок, которые необходимо просмотреть.
Кроме того, укажите количество потоков, которые будут использоваться при краулинге и скрапинге.
Как только значение будет задано, инструмент начнет считывать информацию с целевого сайта.

Хотя инструмент в основном собирает указанное количество ссылок, он также извлекает все ссылки на социальные сети, а также адреса электронной почты, геолокации и номера телефонов, если таковые имеются на сайте.

ПРИМЕЧАНИЕ: Хотя инструмент предлагает возможность создания отчета на основе извлеченных данных, в настоящее время эта возможность, по-видимому, не работает.

https://github.com/z0m31en7/Uscrapper