본문 바로가기

전체 글119

Deep learning(6) - 자연어처리 1.자연어 처리 1)자연어 처리 분야 =>규칙 기반 처리 =>확률 기반 처리 -자연어 이해 -자연어 생성 2)자연어 처리에서 많이 사용되는 모델 => BERT(Bidirectional Encoder Representations from Transformer) - 사전 학습 단계에서 입력 문장의 좌우 문맥을 고려해서 단어의 Embedding 벡터를 생성한 후 Fine Tuning(미세 조정) 단계에서 해당 과제의 데이터로 추가 학습하여 성능을 개선 =>GPT(Generative Pretrained Transformer) - 단방향 언어 모델 - 이전 단어들을 사용해서 다음 단어를 생성하도록 학습 - 주어지는 문장의 길이나 선택 가능성에 따라 뒤에 올 수 있는 단어의 수는 제한적 3)딥러닝 모델을 사용하기 .. 2024. 3. 25.
Deep Learning(5)-RNN 1.RNN 0) CNN 개념 정리 및 차이점 Batch Normalization: 최대한 정규분포와 비슷한 그래프로 만들어서 local minimum에 빠지는 경우의 수를 제거 Input, Flatten : 첫번째꺼는 input , Flatten은 1차원 구조로 만들어줌. Dense는 1차원으로 펼치는 거 밖에 안되서 Flatten을 진행해야함. 특히 이미지 학습할때 중요 CNN: 커널이라는 개념을 활용해서 데이터를 바라볼 때 이미지를 1차원으로 펼치지 말고, 2차원으로 두고 한 kernel size 로 학습시킴. kernel size을 몇칸씩 이동할래가 stride. padding은 양끝단에 있는 애들은 한번만 들어가지만, padding='same'을 활용하면 똑같이 학습이 가능함. 그럼 padding.. 2024. 3. 22.
Deep learning(4) - CNN 1. colab 에서 사용시 데이터 활용 =>구글 드라이브 마운트 from google.colab import drive drive.mount('/content/drive') 2.CNN개요 =>CNN(Concolutional Neural Network) 은 대뇌의 시각 피질 연구에서 시작되었구 1980년대 부터 이미지 인식 분야에서 사용되었는데 최근에는 복잡한 이미지 처리 문제에서 사람의 성능을 능가하기도 함 =>최근에는 이미지 검색 서비스, 자율 주행, 영상 자동 분류 시스템에 큰 기여를 함 =>음성 인식 분야나 자연어 처리같은 다른 작업에도 사용됨 =>뉴런들이 시각의 일부 범위 안에 있는 시각 자극에만 반응 =>고수준 뉴런이 이웃한 저수준 뉴런의 출력에 기반 =>이미지 인식 분야에서는 완전 연결 층의.. 2024. 3. 21.
Deep Learning(3) - Optimizer 와 activation함수 알아보기 1.subclassing 1)개요 -Sequential API 나 Functional API는 선언적 방식인데 사용할 층과 연결 방식을 정의한 후 모델에 데이터를 주입해서 훈련이나 추론을 하는 방식 -선언적 방식은 장점이 많은데 모델을 저장하거나 복사 또는 공유하기 쉬우며 모델의 구조를 출력하거나 분석하기도 좋고 프레임워크가 크기를 짐작하고 타입을 확인해서 에러를 일찍 발견할 수 있고 디버깅하기도 쉬움 정적이라는 단점이 존재하는데 수정하지 못함 - subclassing 은 기존의 클래스를 상속받아서 수정해서 사용하는 것 -Models 클래스를 상속받고 _init_메서드에서 필요한 층을 만들고 call 메서드 안에서 수행하려는 연산을 기술하고 출력층을 리턴하도록 작성 -subclassing을 하고자 하면 .. 2024. 3. 20.
DeepLearning(2)-딥러닝 기초 1.Keras =>모든 종류의 신경망을 손쉽게 만들고 훈련, 평가, 실행할 수 있는 고수준 딥러닝 API =>API 문서는 https://keras.io Keras: Deep Learning for humans A superpower for developers. The purpose of Keras is to give an unfair advantage to any developer looking to ship Machine Learning-powered apps. Keras focuses on debugging speed, code elegance & conciseness, maintainability, and deployability. When you cho keras.io =>거의 모든 딥러닝 라이.. 2024. 3. 19.
Deep Learning(1) - 개요 1.개요 =>여러 비선형 변환 기법의 조합을 통해 높은 수준의 추상화를 시도하는 머신러닝 알고리즘의 집합 =>연속된 층(Layer)에서 점진적으로 의미있는 표현을 배우는 방식 =>기존의 머신러닝 방법은 1~2가지의 데이터 표현을 학습하지는 얕은 학습을 수행하지만 딥 러닝은 수백 개 이상의 층을 이용 =>데이터로부터 표현을 학습하는 수학 모델 =>층을 통과할 때 마다 새로운 데이터 표현을 만들어 가면서 학습 1)작동 원리 =>층에서 입력 데이터가 처리되는 내용은 일련의 숫자로 이루어진 층의 가중치에 저장이 되는데 이는 그 층의 가중치를 parameter로 갖는 함수로 표현 =>이 가중치를 알아낼려면 데이터를 관찰해야 하고 신경망의 출력이 기대하는 것 보다 얼마나 벗어났지를 측정해야 합니다 딥러닝은 기본적으.. 2024. 3. 18.

티스토리툴바