Энциклопедия · Данные · Анализ данных

Data-пайплайн - Scrapy-Airflow-ClickHouse-Grafana

Data-пайплайн Scrapy — Airflow — ClickHouse — Grafana — это производственный стек для регулярного сбора данных из веб-источников, их валидации, загрузки в…

  • 5 минЧтение
  • 23Разделов
  • 26Примеров кода

Что вы узнаете

  • Общая архитектура
  • Роли компонентов
  • Сквозной сценарий
  • Структура проекта
  • Инфраструктура Docker Compose

Отрывок

Scrapy извлекает структурированные записи, Apache Airflow управляет расписанием и зависимостями задач, ClickHouse хранит и агрегирует события, а Grafana строит дашборды и алерты.

Полный текст статьи открывается по подписке.

  • Интерактивные уровни с проверкой ответов
  • Прогресс и повторение терминов сохраняются
  • Тренажёры Linux, SQL, Git и Docker в браузере

Войти и открытьТарифы

Вселенная ИТ — практика IT на русском

Уроки с проверкой, энциклопедия, тренажёры и квизы на одной платформе. Всё работает в браузере, без установки.