Парсер на сайте знакомств. Далее ставит определенные фильтры которые есть (город, возраст, пол).
Есть ограничение что сайт, использует подтверждение звонком по телефону и диктовкой кода авторизации. Так же есть ограничение что показывалась защита от бота (картинка на которой нужно найти велосипеды)
2. Парсеру сайт начинает показывать анкеты. Парсер с этих страниц сохраняет описание и фото, записывает это в базу.
- Сохраняет 3 фото (если есть)
- Сохраняет описание (описание которое найдено в анкете)
- Сохраняет Имя анкеты
- Сохраняет возраст
- Сохраняет Город
Кроме того если будет работать несколько парсеров в одном городе то им могут выпадать одни и те же анкеты и чтобы в базе не хранить дубли при сохранении не нужно копировать фото, нужно только сохранять в базу что найден дубль такой то анкеты
3. Парсер при сохранении фото должен их ужимать
Нужна админка в которой.
Можно добавлять новых ботов и ставить им настройки по которым должны установить на фильтры анкет в mamba.ru (город, возраст, пол)
В админке есть страница где я могу посмотреть сколько парсеров запущено и их настройки. Город, возарст, пол, сколько анкет обработано за сегодня, всего.
Можно смотреть статистику какие парсеры сколько анкет обработали за сегодня. Смотреть какие ошибки выдал парсер (ошибка авторизации бота, и.т.д.)
