Скрипт для скачивания содержимого страницы с сайта mid.ru

28.08.2024 14:39

«Фрилансим»

Нужно создать скрипт на NodeJs 18 скачивающий html содержимое страницы https://mid.ru/ru/foreign_policy/news/ для последующего парсинга новостей
1. Должен быть выполнен в виде Typescript класса. У класса должен быть метод - getContent(): strng, возвращающий html с новостями. Этот метод должен генерировать исключение в случае таймаута получения страницы.
2. Простой способ скачивания этого url не работает. Создатели сайта сделали защиту от ботов. Нужно полностью эмулировать работу браузера для получения содержимого
3. Код должен работать на VPC сервере с Ubuntu 20 без UI интерфейса. Т.е. браузер там не установлен
4. Код будет запускаться на VPC сервере внутри России

Читайте на 123ru.net

Частные объявления в Москве, в Московской области и в России

Smi24.net — ежеминутные новости с ежедневным архивом. Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Smi24.net — облегчённая версия старейшего обозревателя новостей 123ru.net. Мы не навязываем Вам своё видение, мы даём Вам срез событий дня без цензуры и без купюр. Новости, какие они есть —онлайн с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии. Smi24.net — живые новости в живом эфире! Быстрый поиск от Smi24.net — это не только возможность первым узнать, но и преимущество сообщить срочные новости мгновенно на любом языке мира и быть услышанным тут же. В любую минуту Вы можете добавить свою новость - здесь.