전체 글127 Container 기초 1.Container 개념 좌측 그림과 우측그림은 virtual machine 과 container 의 구조를 형상화한 그림입니다. 각 구성요소에 대해서 설명을 하면1. 가상 머신(Virtual Machines): 실제 field에선 instance라 불림 하드웨어/인프라(Hardware/Infrastructure): 실제 물리적 서버나 컴퓨터.호스트 운영 체제(Host Operating System): 물리적 서버 위에서 실행되는 기본 운영 체제.(ex. linux)하이퍼바이저(Hypervisor): 여러 가상 머신을 실행할 수 있도록 물리적 리소스를 분할해 가상화하는 소프트웨어.(ex, VMWARE, RedHAT)가상 머신(VM): 각 VM에는 독립적인 **게스트 운영 체제(Guest OS)**가 있.. 2024. 10. 15. VLAN 과 VXLAN이란? 1.VLAN이란 무엇인가?1-1)LAN이란?LAN이란 집과 같은 소규모 네트워크에서부터 사무실,회사와 같은 중규모 이상의 네트워크에 이르기까지 동일한 IP 대역과 동일한 Subnet Mask 을 사용하며 Address Resolution Protocol(ARP)가 닿는 모든 범위를 의미합니다. 1-2)ARP란?ARP는 각 컴퓨터가 갖는 IP Address에 매칭되는 MAC Address 을 알아내기 위한 Protocol 입니다. ARP Request 는 연결된 네트워크장비와 컴퓨터에 모두 전달.이렇게 송신자가 전달하는 메시지메 연결된 모든 컴퓨터가 전달받는 방식을 브로드캐스트(Broadcast)입니다. 브로드캐스트를 전달할떄는 목적지 IP 의 끝자리를 .255로 설정합니다.네트워크 장비에 10대의 컴퓨터.. 2024. 9. 10. Airflow 1.개요1)개요 =>데이터 파이프라인은 원하는 결과를 얻기 위해 실행되는 여러 태스크 또는 동작으로 구성 =>실시간 날씨 대시보드 구현 -작업 과정 다른 시스템의 날씨 API를 통해서 일기예보를 데이터 가져오기 서비스 목적에 맞도록 데이터 정제 및 변환 변환된 데이터를 날씨 대시보드로 전송-파이프라인은 간단한 3개의 다른 태스크로 구성 이 태스크들은 정해진 순서대로 진행되어야 합니다 데이터 변환 전에 새로운 데이터를 대시보드로 전송하거나 하면 안됩니다 =>대다수의 파이프라인 구성은 이렇게 암묵적인 태스크 순서가 있습니다. 2)데이터 파이프라인 그래프 =>태스크 사이의 의존성을 명확하게 확인하는 방법 중 하나가 데이터 파이프라인을 그래프로 그리는 것 =>그래프에서 태스크는 노드로 표시되고 태스.. 2024. 5. 28. ECR,ECS을 활용한 server 배포 + CI/CD (Django) 1.Python Web 애플리케이션 ECS 배포1)python가상환경 생성python -m env myvenvmyvenv/Scripts/activate 2)이미지 생성을 위해 project root 디렉토리 Dockerfile 작성FROM --platform=linux/amd64 python:3.8-slim-buster as buildRUN apt-get update \ && apt-get install -y --no-install-recommends \ postgresql-client \ && rm -rf /var/lib/apt/lists/*WORKDIR /usr/src/appCOPY requirements.txt ./RUN pip install -r requ.. 2024. 5. 24. client 배포 + CI/CD (React 파일 S3에 업로드) 1.Client 배포1)배포 방법=>웹 클라이언트는 정적 파일의 집합이라서 S3와 같은 스토리지 (파일에 URL을 이용해서 접근이 가능)를 이용할 수 있음비용이 저렴해서 S3을 많이 이용.CloudFront 를 연결할 수 있음=>웹 클라이언트도 도커 이미지로 만들어서 컨테이너로 배포할 수 있음 2)S3에 CI/CD 를 이용해서 배포=>준비- 버킷을 준비: 외부에서 업로드 가능(버킷을 만들고 정책을 수정)하도록 설정정적 웹 호스팅이 가능(속성 탭에서 정적 웹 호스팅 속성을 활성화)하도록 생성 => [권한] 탭에 [버킷 정책] 수정{ "Version": "2012-10-17", "Statement": [ { "Sid": "PublicListGet", .. 2024. 5. 24. 데이터 변환 1.개요=>ELT(Extract Load Transfom) 패턴에서 데이터가 데이터 레이크 (필터링 되지 않은 데이터) 또는 데이터 웨어하우스( 나에게 필요한 - 필터링이 된 데이터, 데이터 웨어하우스가 규모가 작으면 데이터 마트)로 수집되면 파이프라인의 다음 단계는 데이터 변환 =>데이터 변환에는 비문맥적 데이터 조작과 비지니스 컨텍스트 및 논리를 염두에 둔 데이터 모델이 모두 포함됨 =>파이프라인의 목적이 비지니스 통찰력 또는 분석을 하는 것이라면 비문맥적 변환 외에 데이터 모델링 추가 되어야 합니다 =>데이터 모델은 데이터 분석을 위해 이해되고 최적화된 방식으로 데이터를 정형화하고 정의하는 것=>데이터 모델은 데이터 웨어하우스에서 하나 이상의 테이블로 표시DataFrame 을 공부하는 이유- Dat.. 2024. 5. 22. 이전 1 2 3 4 5 ··· 22 다음
