증분추출1 데이터 수집 1.데이터 수집1)수집 방법 =>데이터베이스에서 수집 =>플랫 파일(텍스트 파일) 등에서 수집 =>센서 등의 데이터를 Kafka 와 같은 실시간 스트림을 이용한 수집 2)데이터 수집 =>읽어온 데이터를 데이터웨어하우스에 저장하는 작업 =>예전에는 데이터 센터의 데이터베이스에 저장하는 것이 일반적이었지만 최근에는 클라우드 환경에 많이 저장2.MySQL 의 데이터를 S3 버킷에 csv 파일로 저장1)추출 방법=>전체 추출: 스냅샷을 이용한 추출마지막 데이터의 복사본 저장 =>증분 추출: 트랜잭션을 이용한 추출첫번째 데이터와 변경 내용 저장 2)전체 추출 과 증분 추출의 트레이드 오프=>마지막 데이터의 결과를 복원하고자 하는 경우는 전체 추출이 빠름=>전체 추출은 중간 과정을 저장 할 수 없음 3)추출 준비=.. 2024. 5. 21. 이전 1 다음
