본문 바로가기

project/개인공부6

KoBERT를 활용한 감정분류 모델 1.KoBERT 란? 1)BERT란? KoBERT을 말하기에 앞서, BERT 모델을 우선 소개하고자한다. NLP 분야에서 2019년에 한 학술지에 엄청난 성능을 지닌 모델이 나왔으며 그게 바로 BERT이다. BERT는 Bidirectional Encoder Representations from Transformer 의 약자로 텍스트를 양방향(앞뒤)로 확인하여 자연어를 처리하는 모델이다. 기존의 자연어 처리 모델은 단방향 우리가 글을 읽는 순서인 왼쪽에서 오른쪽으로 갔지만 BERT는 이 순서를 양방향으로 보기 때문에 다른 모델에 비해 매우 높은 정확도를 나타낸다. 또 오픈 소스이기 때문에 누구나 사용할 수 있다는게 장점이다. BERT는 transformer를 12~24개의 layer로 쌓아놓은 것이다. 그.. 2024. 4. 14.
2022년도 Melon가사 분석을 통한 감정분류 1.Openai api 사용방법 1)개요 Openai 의 API 는 거의 모든 작업에 적용 가능. 다양한 기능과 가격대의 다양한 모델을 제공할 뿐만 아니라 맞춤형 모델을 미세조정할 수 있는 기능도 제공함. 2)사용 가능한 모델 3)API Document https://platform.openai.com/docs/introduction =>자주 바뀌고 최근 Document에 대한 설명이 잘 되있지 않아서 어려움을 겪음 4)API 활용법 =>API key 생성 ※API key 한번 생성되고 다시 나오질 않음.따로 작성해놔야함 =>설치 pip install openai =>사용 import openai openai.api_key = "각자 API key 값" # API Key completion = opena.. 2024. 4. 1.
생성형 AI 란 무엇인가? 최신 트렌드를 공부하고 공모전에 나가기 위해서 찾아보면서 생성형 AI가 정확히 뭘 의미하는지, 어떻게 활용되는지에 대해서 궁금해서 찾아봤습니다. 생성형 AI 란? 생성형 인공지능은 대화,이미지, 음악 등 새로운 콘텐츠와 아이디어를 만들수 있는 AI의 일종입니다. AI 기술은 이미지, 인식, 자연어 처리, 번역 과 같이 새로운 컴퓨팅 작업에서 인간 지능을 모방합니다. 다시 말하자면 인간 언어 랑 예술, 화학 등 복잡한 주제를 AI로 학습을 한뒤 학습 데이터를 재사용하여 새로운 문제를 해결하는 방식입니다. 생성형 AI 의 대표사례로 ChatGPT가 있습니다.이러한 생성형 AI를 활용해서 이전에는 볼 수 없었던 새로운 애플리케이션을 만들고, 고객이 새로운 생산성 수준에 도달하도록 도울 수 있습니다. AI의 이.. 2024. 2. 11.
GIT 사용법 1.개요 =>git:소스 코드 버전 관리를 위한 tool =>git hub,git lab:git을 활용할 수 있는 웹 사이트 2.용어 =>repository:하나의 큰 저장소,기본단위 =>branch:repository안에 만드는 작은 저장소 - 실제 저장 단위 =>origin:최초의 코드 =>remote:github이나 git lab 같은 원격 저장소 =>commit:변경 내용을 적용 =>push:로컬의 내용을 remote에 업로드 =>pull,fetch:remote의 변경 내용을 로컬에 반영 =>clone:branch의내용을 로컬로 가져오는 것 =>merge:변경한 내용을 하나로 합치는 것 3.github 사용하기 위한 준비 1)git hub에 회원 가입 2)git을 설치 =>윈도우: https://.. 2024. 1. 26.
기본정렬 알고리즘 (Sorting 기법 정리(Bubble,Selection,Quick,Heap,Insertion,Merge)) 학교를 다니면서 알고리즘은 많이 배웠는데 제대로 써먹어본적이 없고 머리에 정리가 제대로 정립이 안된거 같아서 한번 정리해보려구요!!! 총 6가지 sorting 기법만 우선 정리해볼께용~~ 1. Bubble Sort 버블 정렬은 매번 연속된 두개의 인덱스 값을 비교하여, 정한 기준의 값을 뒤로 넘겨 정렬하는 방법입니다. 오름차순으로 정렬하려고 하면, 비교할때 마다 큰 값이 뒤로 이동하면서 한바퀴 돌면 가장 큰 값이 맨 뒤에 저장됩니다. 맨 마지막에는 비교하는 수들 중 가장 큰 값이 저장되기 때문에,(전체 배열의 크기- 현재까지 순환한 바퀴수)만큼만 반복하는 알고리즘입니다!! 백문이 불여일견이라 그림으로 보고 가실께용 이 알고리즘은 1부터 비교를 시작하면서 n-1,n-2,....1개씩 비교를 반복하면서 배열.. 2024. 1. 2.
Web crolling이라 쓰고 사실 scraping인 멜론 TOP#100 웹 크롤링이란? 'URL을 탐색해 반복적으로 링크를 가져오는 과정'입니다.웹 크롤링은 단어 자체에서 보다시피 웹페이지를 찾아다니며 정보를 수집합니다. 대표적인 웹 크롤링으로는 검색엔진의 웹 크롤러가 하는 일을 예로 들 수 있습니다.웹 크롤러는 URL을 수집하고 웹 페이지를 복사하여, 수집한 웹 페이지에 index을 부여해 사용자에게 더 신속하게 정보를 제공합니다. 웹 스크래핑이란? '우리가 정한 웹 페이지에서 데이터를 추출하는 것'입니다. 우리가 특정 주제의 뉴스만을 가져오거나, 인기검색어 정보를 가져오는 것, 어떤 상품의 가격을 모니터링하는 것 모두 웹 스크래핑입니다. 웹 스크래핑을 웹 데이터 추출, 웹 하베스팅이라고도 부릅니다. 웹 크롤링과 웹 스크래핑은 모두 정보를 추출해온다는 데서는 공통점을 지니.. 2023. 12. 29.

티스토리툴바