airflow가 무엇인지1 Airflow 1.개요1)개요 =>데이터 파이프라인은 원하는 결과를 얻기 위해 실행되는 여러 태스크 또는 동작으로 구성 =>실시간 날씨 대시보드 구현 -작업 과정 다른 시스템의 날씨 API를 통해서 일기예보를 데이터 가져오기 서비스 목적에 맞도록 데이터 정제 및 변환 변환된 데이터를 날씨 대시보드로 전송-파이프라인은 간단한 3개의 다른 태스크로 구성 이 태스크들은 정해진 순서대로 진행되어야 합니다 데이터 변환 전에 새로운 데이터를 대시보드로 전송하거나 하면 안됩니다 =>대다수의 파이프라인 구성은 이렇게 암묵적인 태스크 순서가 있습니다. 2)데이터 파이프라인 그래프 =>태스크 사이의 의존성을 명확하게 확인하는 방법 중 하나가 데이터 파이프라인을 그래프로 그리는 것 =>그래프에서 태스크는 노드로 표시되고 태스.. 2024. 5. 28. 이전 1 다음
