won-ian 님의 블로그

※ 'LLM을 활용한 실전 AI 애플리케이션 개발' 책을 정리한 내용입니다. LLM이 사회에 큰 영향을 미치고 있는 이유는 하나의 언어 모델이 다양한 작업에서 뛰어난 능력을 보여주기 때문이다. 기존의 언어에 대해 다루는 자연어 처리 분야는 언어를 이해하는 자연어 처리(natural language understanding) 와 언어를 생성하는 자연어 생성 두 분야로 나눠 접근했다. 또 각각의 영역에서도 일부 좁은 영역의 작업을 해결하기 위해서 별도의 모델을 개발하는 방식으로 접근하는 경우가 많았다. 하지만 LLM은 자연어 생성을 위한 모델이기 때문에 언어 생성 능력이 뛰어나고 모델의 크기가 커지면서 언어 이해 능력이 발달했다. 또한 사용자의 요청에 응답하는 방식을 학습하면서 다양한 작업(multitask..

※ 'LLM을 활용한 실전 AI 애플리케이션 개발' 책을 정리한 내용입니다. 작은 단위(단어)의 데이터가 연결되고, 그 길이가 다양한 데이터의 형태를 '시퀀스(sequence)'라고 한다. RNN(순환 신경망)입력하는 텍스트를 순차적으로 처리해서 다음 단어를 예측하는 기술로 모델이 '하나의 잠재 상태(hidden state)에 지금까지의 입력 텍스트의 맥락을 압축' 한다.첫 번째 입력이 모델을 통과하면 잠재 상태에 첫 번째 입력의 정보가 쌓이고, 두 번째 입력이 모델을 통과하면 잠재 상태에 첫 번째와 두 번째 정보가 누적된다. 이렇게 입력이 늘어나면서 하나의 잠재 상태에 입력 텍스트의 맥락이 압축된다. 압축된 하나의 잠재 상태를 통해 RNN은 다음에 나올 단어를 예측한다.  그래서 순차적으로 입력되는 단..

※ 'LLM을 활용한 실전 AI 애플리케이션 개발' 책을 정리한 내용입니다. Chat GPT의 등장으로 인해 대규모 언어 모델(Large Language Model(이하 LLM))이 세상을 뒤흔들고 있다.사실 Chat GPT는 굉장히 단순한 과정으로 동작하는데, 주어진 입력에서 다음에 올 적절한 단어를 확률적으로 선택(예측)하고, 선택한 단어를 입력에 더해 문장이 끝날 때까지 선택하는 작업을 반복한다. 다음 단어를 선택하는 가장 단순한 행동에서 혁신적인 제품이 탄생한 것이다. 우선, LLM은 딥러닝에 기반을 두고 있다. 딥러닝(deep learning)은 인간의 두뇌에 영감을 받아 만들어진 신경망(neural network)로 데이터의 패턴을 학습하는 머신러닝(machine learning)의 한 분야이..