분류 전체보기119 Kafka(1) 1.Data Pipeline1)개요=>다양한 소스에서 새로운 가치를 얻을 수 있는 대상으로 데이터를 옮기고 변환하는 일련의 과정 - 분석이나 리포팅 그리고 머신러닝 능력의 기초가 됨 =>원본 데이터의 크기와 상태 그리고 구조 및 분석 프로젝트의 요구사항에 따라 파이프라인은 달라짐=>가장 단순한 형태의 파이프라인은 REST API처럼 단일소스에서 데이터를 추출하거나 데이터 웨어하우스 SQL테이블와 같은 대상으로 데이터를 로드하는 것이지만 실제 파이프라인은 데이터 추출 과 데이터 가공 그리고 데이터 유효성 검사를 포함한 여러 단계로 구성이 되고 때로는 데이터를 최종 목적지로 전달하기 전에 머신러닝 모델을 학습하거나 실행하는 단계를 수행하기도 합니다.(example :KNN으로 결측치 제거) =>파이프라인에는.. 2024. 5. 9. AWS Container Service(ECR,ECS) 0.ECR과 ECS 를 이용한 CI/CD Pipeline 설정=>CI/CD:지속적인 인도와 지속적인 배포코드의 변경을 지속적으로 관리할 수 있도록 하고 변경된 내용을 빠르게 배포하자는 것코드의 변경을 지속적으로 관리할 수 있도록 하고 변경된 내용을 빠르게 배포하자는 것배포를 할 때 개발자가 하는 것이 아니고 프로그램이나 프레임워크가 수행하도록 하고 기존 서비스가 중지되지 않도록 수행하는것을 기본으로 함 코드를 변경해서 배포를 하기 위해서는 빌드 과정을 거쳐야 하는데 마이크로 서비스가 아니고 모놀리식의 형태가 만들어지면 빌드시간이 길어지게 되며 빌드 시간 동안 서비스가 중지되어야 한다면 오랜 시간 동안 사용자는 서비스를 받을 수 가 없게 됩니다 서버 가상화를 이용하기 전에는 하나의 서버에 애플리케이션 하나.. 2024. 5. 3. Server Application 배포-EC2 활용 1.Django APplication을 Docker Image 를 만들어서 EC2 배포1)Django Application을 생성 =>가상 환경 생성 python -m venv ./myvenv =>활성화myvenv/Scripts/activate =>필요한 패키지 설치djangodjangorestframework =>프로젝트 생성django -admin startproject apiservercd apiserver =>프로젝트 실행(제대로 설치됬는지)python manage.py runserver =>소스 코드 수정-settings.py 파일을 수정#배포를 할 때 정확한 IP를 모른다면 *로 설정ALLOWED_HOSTS = ['*']#사용할 Application 등록INSTALLED_APPS = [ .. 2024. 5. 2. React 서버 연동 =>Client:https://github.com/ggangpae1/react_todo -SOP (Same Origin Policy) 문제: CORS(Cross Origin Resources Sharing)설정 SOP:동일 출처 정책 - JS는 동일한 도메인의 데이터만 사용할 수 있음 server 와 client 를 나눠서 하는 이유 1. client 하고 server 를 하나로 해놓으면 monolithic 이라 하는데, 이러면 자격 영역도 나눠져야 함 2. 유지/보수 => 예전에는 대기업에서 하청을 줘서 개발시킴. 자바스크립트 애플리케이션에서 다른 도메인의 데이터를 사용하는 방법 -서버에서 특정 도메인은 접근이 가능하도록 설정: CORS설정 -클라이언트에서 자신의 로컬 서버에게 접근한 후 로컬 서버에서.. 2024. 4. 29. React 1.개요1)SPA(Single Page Application)=>html 파일 1개로 동작하는 웹 애플리케이션 =>여러 개의 html로 구성된 웹 애플리케이션(Multi Page Application)은 페이지 전환을 할 때 이전 페이지를 제거하고 새로운 페이지를 랜더링을 하게 되는데 이 과정에서 깜빡임이 발생 =>SPA를 이용하면 위 와 같은 깜빡임을 제거할 수 있습니다. 하나의 html로 구성되기 때문에 새로운 페이지를 랜더링하지 않음 =>이런 SPA 프레임워크로 angular, vue, react 가 있음 2)Template Engine=>웹 서버 프레임워크는 대부분 HTML 템플릿 엔진을 제공 =>HTML 템플릿 엔진은 서버에서 제공하는 데이터 와 html 태그를 결합해서 웹 클라이언트에게 출력 .. 2024. 4. 26. JavaScript(5) 1.ajax 1)개요 =>Asynchronous JavaScript XML(eXtensible Markup Language) 의 약자 =>원래 의미는 비동기적으로 XML 데이터를 가져오는 것이었는데 최근에는 XML 대신에 JSON을 많이 사용 2)사용 이유 =>전체 페이지를 새로고침하지 않고 서버로부터 데이터를 받아서 일부분만 다시 출력하는 용도로 주로 이용 =>여러 콘텐츠를 하나의 화면에서 제공하는 경우에 사용 3)구현 객체 =>XMLHttpRequest 4)알아야 할 내용 =>GET 과 다른 방식으로 데이터를 포함(텍스트, 파일 등)시켜 요청을 전송하고 데이터(JSON, XML, Text 등)가 왔을 때 사용 =>SOP 와 CORS - SOP(Same Origin Policy - 동일 출처 정책) 자.. 2024. 4. 23. 이전 1 2 3 4 5 ··· 20 다음
