Есть система на django, которая парсит сайты поставщиков металлопроката и выводит данные с разных сайтов в виде единого каталога.
Фронтенд на react + next.js.
Сейчас реализован парсинг одного сайта, планируем добавить еще пачку источников https://docs.google.com/document/d/106ExI86H0C9f0VznzhBi3hNKGJfRGBwQ/edit (можно привлечь кого-то другого конкретно на парсинг, но полностью проконтролировать его работу) а также реализовать ряд других доработок:
- Добавление прокси
- Снижение частоты парсига страниц, чтобы избежать избыточной нагрузки на источник
- Подготовить к размещению в kubernetes через докерфайл
- Прикрутить систему мониторинга celery(типа flower) и redis (grafana)
- Покрыть основные существующие процессы тестами

Читайте на 123ru.net

Частные объявления в Вашем городе, в Вашем регионе и в России

Smi24.net — ежеминутные новости с ежедневным архивом. Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Smi24.net — облегчённая версия старейшего обозревателя новостей 123ru.net. Мы не навязываем Вам своё видение, мы даём Вам срез событий дня без цензуры и без купюр. Новости, какие они есть —онлайн с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии. Smi24.net — живые новости в живом эфире! Быстрый поиск от Smi24.net — это не только возможность первым узнать, но и преимущество сообщить срочные новости мгновенно на любом языке мира и быть услышанным тут же. В любую минуту Вы можете добавить свою новость - здесь.