본문 바로가기

분류 전체보기119

Linux(2) 1.Editor(문서 편집기) 1)종류 =>GUI (Graphic User Interface)환경:gedit =>CLI(Command Line Interface)환경 -행 단위 편집기: ed, ex,sed -화면 단위 편집기:vi,emacs 전통적으로 vi 편집기를 개발자들이 선호 2)vi 편집기 실행 =>vi 파일 경로 파일 경로에 파일이 존재하면 수정이고 존재하지 않으면 새로 만들기 3)vi 편집기 모드 =>입력 모드: 텍스트를 작성하고 편집하는 모드 =>명령 모드: 텍스트 편집은 할 수 없고 명령어를 사용해서 저장하고 종료하는 모드 4)모드 전환 =>입력 모드 -> 명령 모드: esc =>명령 모드 -> 입력 모드: i, I, a, A, o, O 5)종료 - 명령 모드에서 수행 =>wq!: 저장하고.. 2024. 3. 29.
Ubuntu,Linux(1) Golang ->Docker, Kubernetes ->Cloud Linux ->C 기반이지만 점차 Rust 로 바뀔 예정 Cloud도 운영체제가 필요한데 Linux밖에 안남은 상황이라 AWS 입장에서 Linux 를 쓸 수 밖에 없었음 Linux 공부할 때 1)Computer 위에 설치 ->Private Cloud 구축 2)Virtual Machine 사용 ->호스트OS 위에 VM 위에 Guest OS 를 활용 =>우리는 이걸 사용! 3)public cloud의 machine을 이용 ->돈을 내야 함 1.가상 머신에 리눅스를 설치하기 위한 준비 1)가상화 소프트웨어 =>Windows: VMWare , Virtualbox VMWare Player 다운로드 =>Mac: UTM 2)운영체제 이미지(iso) =>.. 2024. 3. 27.
Deep learning(9)-LLM 1.LLM => AI와 LLM AI>머신러닝>인공신경망>딥러닝>GAN>LLM =>대중의 관심을 받은 것은 2023년 GPT-4 가 발표되면서 관심이 생김 =>언어 모델 - 컴퓨터에게 어떻게 말을 하고 글을 쓰는지 가르치는 것 =>언어 모델의 역사 -통계적 언어 모델: 컴퓨터가 문자이나 단어를 얼마나 자연스럽게 표현할 지를 수학적으로 계산하는 것으로 과거에 데이터를 기반으로 하는 것 어떤 단어가 이렇게 묶여진 사전에서 다음 단어나 이전 단어를 찾아오는 방식 통계적 패턴을 학습해서 문장을 이해하고 새로운 문장을 만들어내는 방식 이 방법은 가능한 모든 n-gram을 데이터베이스에 저장하고 있어야 하기 때문에 데이터베이스에 사전을 만드는 번거로운 작업을 수반 n의 개수가 커질 수록 문맥을 제대로 이해하지 못하는.. 2024. 3. 26.
Deep Learning(8)-Pytorch 1.Pytorch 1)개요 =>pytorch는 python을 위한 오픈 소스 머신러닝 라이브러리 =>facebook이 만든 라이브러리 하는 일은 tensorflow 와 동일 =>설치는 pip install torch torchvision =>딥러닝을 학습할 때 Tensorflow 나 Pytorch 둘 중 하나는 가지고 학습을 합니다. 딥러닝 모델을 이용해서 서비스를 개발하다보면 모델들이 둘 중 하나의 형태로만 제공되는 경우가 있습니다 이런 경웅에는 어쩔 수 없이 학습한 라이브러리가 아닌 다른 라이브러리를 이용해서 작업을 수행해야 합니다. =>현재는 딥러닝 연구 분야에서는 pytorch를 많이 사용하고 서비스 개발에는 tensorflow 를 많이 씀 =>tensorflow 는 버전이 너무 자주 바뀜 imp.. 2024. 3. 26.
DeepLearning(7)- AutoEncoder,생성모델 1.Auto Encoder & GAN 1)Auto Encoder =>어떤 지도 없이도 (레이블이 없는 형태) 잠재 표현을 학습할 수 있는 인공 지능 =>입력보다 낮은 차원을 가지기 때문에 차원 축소 또는 시각화에 유용 =>일부 오토 인코더는 훈련 데이터와 매우 비슷한 새로운 데이터를 생성할 수 있는데 이를 생성 모델이라고 하면 얼굴 사진으로 오토 인코더를 훈련하면 새로운 얼굴을 생성할 수 있지만 생성된 이미지가 흐릿하고 실제 이미지 같지 않음 2)GAN(Generative Adversarial Networks - GAN: 생성적 적대 신경망) =>비지도 학습에 사용되는 인공지능 알고리즘으로 제로섬 게임 틀 안에서 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현 =>Style GN 이라는 최신 G.. 2024. 3. 26.
Deep learning(6)-자연어처리(2) 1. Subword Tokenizer 1)개요 =>기계에게 아무리 많은 단어를 학습시켜도 세상의 모든 단어를 학습시킬 수 없는데 이유는 신조어 등의 등장 =>자연어 처리에서는 없는 단어가 등장하는 경우 OOV(Out Of Vocabulary)로 처리 OOV 가 발생하면 문제를 푸는 것이 까다로워지는 상황이 발생 =>Subword Tokenizer 는 기존 단어를 더 작은 단위의 의미있는 여러 서브 워드로 분할하는 것 하나의 단어를 여러 서브 워드로 분리해서 단어를 인코딩 및 Embedding 하겠다는 의도를 가진 작없이 Subword Tokenizer 2)BPE(Byte Per Encoding) =>압축 알고리즘이었는데 자연어 처리에서 사용 =>자주 등장하는(2번 이상) 글자 또는 단어의 모임을 다른 글.. 2024. 3. 26.

티스토리툴바