Study/Deep learning9 Deep learning(9)-LLM 1.LLM => AI와 LLM AI>머신러닝>인공신경망>딥러닝>GAN>LLM =>대중의 관심을 받은 것은 2023년 GPT-4 가 발표되면서 관심이 생김 =>언어 모델 - 컴퓨터에게 어떻게 말을 하고 글을 쓰는지 가르치는 것 =>언어 모델의 역사 -통계적 언어 모델: 컴퓨터가 문자이나 단어를 얼마나 자연스럽게 표현할 지를 수학적으로 계산하는 것으로 과거에 데이터를 기반으로 하는 것 어떤 단어가 이렇게 묶여진 사전에서 다음 단어나 이전 단어를 찾아오는 방식 통계적 패턴을 학습해서 문장을 이해하고 새로운 문장을 만들어내는 방식 이 방법은 가능한 모든 n-gram을 데이터베이스에 저장하고 있어야 하기 때문에 데이터베이스에 사전을 만드는 번거로운 작업을 수반 n의 개수가 커질 수록 문맥을 제대로 이해하지 못하는.. 2024. 3. 26. Deep Learning(8)-Pytorch 1.Pytorch 1)개요 =>pytorch는 python을 위한 오픈 소스 머신러닝 라이브러리 =>facebook이 만든 라이브러리 하는 일은 tensorflow 와 동일 =>설치는 pip install torch torchvision =>딥러닝을 학습할 때 Tensorflow 나 Pytorch 둘 중 하나는 가지고 학습을 합니다. 딥러닝 모델을 이용해서 서비스를 개발하다보면 모델들이 둘 중 하나의 형태로만 제공되는 경우가 있습니다 이런 경웅에는 어쩔 수 없이 학습한 라이브러리가 아닌 다른 라이브러리를 이용해서 작업을 수행해야 합니다. =>현재는 딥러닝 연구 분야에서는 pytorch를 많이 사용하고 서비스 개발에는 tensorflow 를 많이 씀 =>tensorflow 는 버전이 너무 자주 바뀜 imp.. 2024. 3. 26. DeepLearning(7)- AutoEncoder,생성모델 1.Auto Encoder & GAN 1)Auto Encoder =>어떤 지도 없이도 (레이블이 없는 형태) 잠재 표현을 학습할 수 있는 인공 지능 =>입력보다 낮은 차원을 가지기 때문에 차원 축소 또는 시각화에 유용 =>일부 오토 인코더는 훈련 데이터와 매우 비슷한 새로운 데이터를 생성할 수 있는데 이를 생성 모델이라고 하면 얼굴 사진으로 오토 인코더를 훈련하면 새로운 얼굴을 생성할 수 있지만 생성된 이미지가 흐릿하고 실제 이미지 같지 않음 2)GAN(Generative Adversarial Networks - GAN: 생성적 적대 신경망) =>비지도 학습에 사용되는 인공지능 알고리즘으로 제로섬 게임 틀 안에서 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현 =>Style GN 이라는 최신 G.. 2024. 3. 26. Deep learning(6) - 자연어처리 1.자연어 처리 1)자연어 처리 분야 =>규칙 기반 처리 =>확률 기반 처리 -자연어 이해 -자연어 생성 2)자연어 처리에서 많이 사용되는 모델 => BERT(Bidirectional Encoder Representations from Transformer) - 사전 학습 단계에서 입력 문장의 좌우 문맥을 고려해서 단어의 Embedding 벡터를 생성한 후 Fine Tuning(미세 조정) 단계에서 해당 과제의 데이터로 추가 학습하여 성능을 개선 =>GPT(Generative Pretrained Transformer) - 단방향 언어 모델 - 이전 단어들을 사용해서 다음 단어를 생성하도록 학습 - 주어지는 문장의 길이나 선택 가능성에 따라 뒤에 올 수 있는 단어의 수는 제한적 3)딥러닝 모델을 사용하기 .. 2024. 3. 25. Deep Learning(5)-RNN 1.RNN 0) CNN 개념 정리 및 차이점 Batch Normalization: 최대한 정규분포와 비슷한 그래프로 만들어서 local minimum에 빠지는 경우의 수를 제거 Input, Flatten : 첫번째꺼는 input , Flatten은 1차원 구조로 만들어줌. Dense는 1차원으로 펼치는 거 밖에 안되서 Flatten을 진행해야함. 특히 이미지 학습할때 중요 CNN: 커널이라는 개념을 활용해서 데이터를 바라볼 때 이미지를 1차원으로 펼치지 말고, 2차원으로 두고 한 kernel size 로 학습시킴. kernel size을 몇칸씩 이동할래가 stride. padding은 양끝단에 있는 애들은 한번만 들어가지만, padding='same'을 활용하면 똑같이 학습이 가능함. 그럼 padding.. 2024. 3. 22. Deep learning(4) - CNN 1. colab 에서 사용시 데이터 활용 =>구글 드라이브 마운트 from google.colab import drive drive.mount('/content/drive') 2.CNN개요 =>CNN(Concolutional Neural Network) 은 대뇌의 시각 피질 연구에서 시작되었구 1980년대 부터 이미지 인식 분야에서 사용되었는데 최근에는 복잡한 이미지 처리 문제에서 사람의 성능을 능가하기도 함 =>최근에는 이미지 검색 서비스, 자율 주행, 영상 자동 분류 시스템에 큰 기여를 함 =>음성 인식 분야나 자연어 처리같은 다른 작업에도 사용됨 =>뉴런들이 시각의 일부 범위 안에 있는 시각 자극에만 반응 =>고수준 뉴런이 이웃한 저수준 뉴런의 출력에 기반 =>이미지 인식 분야에서는 완전 연결 층의.. 2024. 3. 21. 이전 1 2 다음
