본문 바로가기

분류 전체보기127

DeepLearning(7)- AutoEncoder,생성모델 1.Auto Encoder & GAN 1)Auto Encoder =>어떤 지도 없이도 (레이블이 없는 형태) 잠재 표현을 학습할 수 있는 인공 지능 =>입력보다 낮은 차원을 가지기 때문에 차원 축소 또는 시각화에 유용 =>일부 오토 인코더는 훈련 데이터와 매우 비슷한 새로운 데이터를 생성할 수 있는데 이를 생성 모델이라고 하면 얼굴 사진으로 오토 인코더를 훈련하면 새로운 얼굴을 생성할 수 있지만 생성된 이미지가 흐릿하고 실제 이미지 같지 않음 2)GAN(Generative Adversarial Networks - GAN: 생성적 적대 신경망) =>비지도 학습에 사용되는 인공지능 알고리즘으로 제로섬 게임 틀 안에서 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현 =>Style GN 이라는 최신 G.. 2024. 3. 26.
Deep learning(6)-자연어처리(2) 1. Subword Tokenizer 1)개요 =>기계에게 아무리 많은 단어를 학습시켜도 세상의 모든 단어를 학습시킬 수 없는데 이유는 신조어 등의 등장 =>자연어 처리에서는 없는 단어가 등장하는 경우 OOV(Out Of Vocabulary)로 처리 OOV 가 발생하면 문제를 푸는 것이 까다로워지는 상황이 발생 =>Subword Tokenizer 는 기존 단어를 더 작은 단위의 의미있는 여러 서브 워드로 분할하는 것 하나의 단어를 여러 서브 워드로 분리해서 단어를 인코딩 및 Embedding 하겠다는 의도를 가진 작없이 Subword Tokenizer 2)BPE(Byte Per Encoding) =>압축 알고리즘이었는데 자연어 처리에서 사용 =>자주 등장하는(2번 이상) 글자 또는 단어의 모임을 다른 글.. 2024. 3. 26.
Deep learning(6) - 자연어처리 1.자연어 처리 1)자연어 처리 분야 =>규칙 기반 처리 =>확률 기반 처리 -자연어 이해 -자연어 생성 2)자연어 처리에서 많이 사용되는 모델 => BERT(Bidirectional Encoder Representations from Transformer) - 사전 학습 단계에서 입력 문장의 좌우 문맥을 고려해서 단어의 Embedding 벡터를 생성한 후 Fine Tuning(미세 조정) 단계에서 해당 과제의 데이터로 추가 학습하여 성능을 개선 =>GPT(Generative Pretrained Transformer) - 단방향 언어 모델 - 이전 단어들을 사용해서 다음 단어를 생성하도록 학습 - 주어지는 문장의 길이나 선택 가능성에 따라 뒤에 올 수 있는 단어의 수는 제한적 3)딥러닝 모델을 사용하기 .. 2024. 3. 25.
Deep Learning(5)-RNN 1.RNN 0) CNN 개념 정리 및 차이점 Batch Normalization: 최대한 정규분포와 비슷한 그래프로 만들어서 local minimum에 빠지는 경우의 수를 제거 Input, Flatten : 첫번째꺼는 input , Flatten은 1차원 구조로 만들어줌. Dense는 1차원으로 펼치는 거 밖에 안되서 Flatten을 진행해야함. 특히 이미지 학습할때 중요 CNN: 커널이라는 개념을 활용해서 데이터를 바라볼 때 이미지를 1차원으로 펼치지 말고, 2차원으로 두고 한 kernel size 로 학습시킴. kernel size을 몇칸씩 이동할래가 stride. padding은 양끝단에 있는 애들은 한번만 들어가지만, padding='same'을 활용하면 똑같이 학습이 가능함. 그럼 padding.. 2024. 3. 22.
Deep learning(4) - CNN 1. colab 에서 사용시 데이터 활용 =>구글 드라이브 마운트 from google.colab import drive drive.mount('/content/drive') 2.CNN개요 =>CNN(Concolutional Neural Network) 은 대뇌의 시각 피질 연구에서 시작되었구 1980년대 부터 이미지 인식 분야에서 사용되었는데 최근에는 복잡한 이미지 처리 문제에서 사람의 성능을 능가하기도 함 =>최근에는 이미지 검색 서비스, 자율 주행, 영상 자동 분류 시스템에 큰 기여를 함 =>음성 인식 분야나 자연어 처리같은 다른 작업에도 사용됨 =>뉴런들이 시각의 일부 범위 안에 있는 시각 자극에만 반응 =>고수준 뉴런이 이웃한 저수준 뉴런의 출력에 기반 =>이미지 인식 분야에서는 완전 연결 층의.. 2024. 3. 21.
Deep Learning(3) - Optimizer 와 activation함수 알아보기 1.subclassing 1)개요 -Sequential API 나 Functional API는 선언적 방식인데 사용할 층과 연결 방식을 정의한 후 모델에 데이터를 주입해서 훈련이나 추론을 하는 방식 -선언적 방식은 장점이 많은데 모델을 저장하거나 복사 또는 공유하기 쉬우며 모델의 구조를 출력하거나 분석하기도 좋고 프레임워크가 크기를 짐작하고 타입을 확인해서 에러를 일찍 발견할 수 있고 디버깅하기도 쉬움 정적이라는 단점이 존재하는데 수정하지 못함 - subclassing 은 기존의 클래스를 상속받아서 수정해서 사용하는 것 -Models 클래스를 상속받고 _init_메서드에서 필요한 층을 만들고 call 메서드 안에서 수행하려는 연산을 기술하고 출력층을 리턴하도록 작성 -subclassing을 하고자 하면 .. 2024. 3. 20.

티스토리툴바