Добрый день. Нужно выполнить задание по учебе, но имеются проблемы с установкой Airflow.
1 задание: Построение пайпланов и визуализация потоков данных в Airflow
— Зарегистрируйтесь в ОрепWeatherApi (
https://openweathermap.org/api) (могу дать свою учетную запись)
— Создайте ETL, который получает температуру в заданной вами локации, и
дальше делает ветвление:
• В случае, если температура
больше 15 градусов цельсия — идёт на ветку, в которой есть оператор, выводящий на
экран «
тепло»;
• В случае, если температура
ниже 15 градусов, идёт на ветку с оператором, который выводит в консоль «
холодно».
Оператор ветвления должен выводить в консоль полученную от АРI температуру.
— Приложите скриншот графа и логов работы оператора ветвленния.
2 задание
1. Скачайте файлы
boking.csv,
client.csv и
hotel.csv; (файлы находятся по ссылке:
https://drive.google.com/drive/folders/1pg_oXbfGoT...)
2. Создайте новый dag;
3. Создайте три оператора для получения данных и загрузите файлы. Передайте дата фреймы в оператор трансформации;
4. Создайте оператор который будет трансформировать данные:
— Объедините все таблицы в одну;
— Приведите даты к одному виду;
— Удалите невалидные колонки;
— Приведите все валюты к одной;
5. Создайте оператор загрузки в базу данных;
6. Запустите dag.
Срок: 18 декабря
