Энциклопедия · Данные · Анализ данных
Data-пайплайн - Scrapy-Airflow-ClickHouse-Grafana
Data-пайплайн Scrapy — Airflow — ClickHouse — Grafana — это производственный стек для регулярного сбора данных из веб-источников, их валидации, загрузки в…
- 5 минЧтение:
- 23Разделов:
- 26Примеров кода:
Что вы узнаете
- Общая архитектура
- Роли компонентов
- Сквозной сценарий
- Структура проекта
- Инфраструктура Docker Compose
Отрывок
Scrapy извлекает структурированные записи, Apache Airflow управляет расписанием и зависимостями задач, ClickHouse хранит и агрегирует события, а Grafana строит дашборды и алерты.
Полный текст статьи открывается по подписке.
- Интерактивные уровни с проверкой ответов
- Прогресс и повторение терминов сохраняются
- Тренажёры Linux, SQL, Git и Docker в браузере