본문 바로가기

전체 글119

KoBERT를 활용한 감정분류 모델 1.KoBERT 란? 1)BERT란? KoBERT을 말하기에 앞서, BERT 모델을 우선 소개하고자한다. NLP 분야에서 2019년에 한 학술지에 엄청난 성능을 지닌 모델이 나왔으며 그게 바로 BERT이다. BERT는 Bidirectional Encoder Representations from Transformer 의 약자로 텍스트를 양방향(앞뒤)로 확인하여 자연어를 처리하는 모델이다. 기존의 자연어 처리 모델은 단방향 우리가 글을 읽는 순서인 왼쪽에서 오른쪽으로 갔지만 BERT는 이 순서를 양방향으로 보기 때문에 다른 모델에 비해 매우 높은 정확도를 나타낸다. 또 오픈 소스이기 때문에 누구나 사용할 수 있다는게 장점이다. BERT는 transformer를 12~24개의 layer로 쌓아놓은 것이다. 그.. 2024. 4. 14.
AWS(3) 1.EC2 개요 =>AWS의 IaaS(Infra as a Service) =>OS(AMI)가 설치된 컴퓨터를 빌려주는 것 2.EC2 인스턴스 생성 및 원격 접속 =>AWS의 EC2 서비스 접속 =>인스턴스 시작을 클릭한 후 선택 -이름 입력 -AMI(운영체제) 선택 -인스턴스 유형(하드웨어) 선택 -키페어를 선택하거나 생성; 원격 접속을 위해서 필요 -네트워크 설정 보안 그룹을 생성하거나 선택하고 기본 포트중 ssh, http,https 설정 가능 스토리지 설정: 저장공간에 대한 설정 -고급 세부 정보나 요약(컴퓨터 대수를 설정 가능)은 기본 옵션 사용 -전부 설정 후 [ 인스턴스 시작]을 누르면 가상 서버가 만들어집니다 =>원격 접속 -준비물:pen파일 과 ec2의 public IP -터미널에서 ssh.. 2024. 4. 13.
AWS(2)-EC2 를 활용해 MySQL 접속 1.Network 1)IP Address =>TCP/IP 라는 프로토콜을 사용하는 인터넷 망에서 컴퓨터를 구분하기 위한 숫자의 조합 =>인터넷 망에서 데이터를 송수신 할 때 Port 와 함께 사용 IP Address 는 컴퓨터를 구분하고 Port 컴퓨터 안에서 동작하는 Application을 구분 실제 데이터의 송수신은 컴퓨터의 애플리케이션이 수행하기 때문 인터넷 망에서 각 컴퓨터의 IP는 구별되어야 하고 하나의 컴퓨터에서 각각의 Application이 사용하는 Port는 구분되어야 합니다. 하나의 컴퓨터에서 여러 개의 Application을 동작할 때는 포트를 확인해봐야 합니다. =>IPv4 와 IPv6 - IPv4: 32비트 주소 체계로 8비트씩 나누어서 표현을 하는데 일반적으로 10진수로 변환해서 .. 2024. 4. 11.
AWS 1.AWS 1)개요 =>Amazon Web Service 의 줄임말 =>컴퓨팅, 스토리지, 데이터베이스 ,분석 툴, 네트워크 모바일,개발자 도구 등 다양한 서비스를 제공하는 클라우드 기반의 서비스 =>시스템 운영에 관련된 서비스 일체를 사용 가능 =>서비스 조합이 쉬움 =>요금이 종량제 -사용한만큼 지불 =>사용이 쉬움 =>보안 기준: ISMS (한국 정보보호 관리체계)인증을 취득 =>글로벌 확장이 쉬움 - 현재 사용 가능한 Public cloud 중에 Region과 AZ( 가용 영역)이 가장 많음 - 한국에는 서울 region이 있고 4개의 가용영역이 운영중입니다 2)제공되는 서비스 =>현재는 165개 이상의 서비스를 제공 =>목적에 따라서 다양한 서비스를 제공 - 서버 전체 및 관리에 필요한 기능을 .. 2024. 4. 9.
Kubernetes 1. 컨테이너 오케스트레이션 1) 개요 다수의 컨테이너를 유기적으로 연결 및 실행할 뿐만 아니라 상태를 추적하고 보전하는 등 컨테이너를 안정적으로 사용할 수 있게 만들어주는 것 2) 솔루션 - docker swarm **:** 간단하고 설치도 용이한데 기능이 다양하지 않아서 소규모 환경에서는 유용하지만, 대규모 환경에서는 거의 사용하지 않음 - meos : 아파치의 오픈 소스 프로젝트로 트위터, AirBnb, Apple, Uber 등에서 사용한 검증된 솔류션으로 대규모 서버 환경에서 자원을 유연하게 공유하고 하나의 자원처럼 관리하는 DC/OS의 지원으로 매우 간결하지만 기능이 충분하기는 한데 여러 가지 솔루션을 유기적으로 구성을 해야 하는 부담이 있음. - nomad : 베이그런트를 만든 해시코프 사에서.. 2024. 4. 8.
Docker(4)-DockerCompose Docker Compose 1.개요 =>시스템 구축과 관련된 명령어를 하나의 텍스트 파일(yaml)에 기재해서 한번에 시스템 전체를 실행하고 종료와 폐기까지 하도록 도와주는 도구 =>공통의 목적을 갖는 애플리케이션을 docker-compose.yml 파일에 코드로 정의해서 한번에 서비스를 올리고 관리할 수 있는 도구 =>하나의 서비스는 하나의 도구만 사용하는 경우는 드뭄 React Node, Python의 Web Frameword, Spring 데이터베이스 =>이런 경우 3개의 컨테이너를 정의해서 사용해야 하는데 이를 별개의 파일로 관리하는 것은 비효율적 여러 개로 관리하다보면 수정을 해야 하는 경우 3곳 모두 수정을 해야하는데 이런 경우 에러가 발생할 가능성이 높음 하나의 정의 파일을 이용해서 관리하는.. 2024. 4. 6.

티스토리툴바