Название сайта: 2gis
Требования к техническому исполнению парсера:
Парсер должен быть реализован с использованием языка программирования python 3 версии.
В своей структуре парсер
не должен использовать библиотеки для ароматизации браузеров (Selenium и аналогичные библиотеки)
.
Парсер должен иметь возможность работы через proxy.
Для целей маскировки парсера от различных систем обнаружения ботов, допускается потеря некоторой доли скорости при процессе парсинга.
К коду парсера также должны прилагаться комментарии, которые описывают принцип работы каждого логического блока.
Т.е код должен быть хорошо прокомментирован.
В ходе своей работы парсер должен выводить в консоль:
- Текущую категорию
- Сколько страниц из текущей категории было обработано. Пример: страниц обработано: 5/12
Какие данные нужно парсить:
- Название компании
- описание компании
- Ссылка на сайт
- Название категории, к которой относится компания
Выгрузка полученных данных:
Полученная при парсинге информация должна добавятся в базу данных (MySQL). Перед добавлением информации о новой компании, должна производится проверка того, есть ли такая компания в базе данных.
Проверка качества выполненной работы:
Перед сдачей проекта будет проведена проверка качества работы. Проверка будет произведена путём передачи исполнителю ссылки на одну из категорий сайта.
Работа будет считаться выполненной если парсер скачает всю необходимую информацию из переданной категории.
Срок выполнения проекта: 3 дня
