[LLM 개발기초] 0. 서론, 목차

by godstale · Published 2024-07-22 · Updated 2024-08-18

ChatGPT 와 같은 단어는 이미 일반 명사화 되었습니다. 뉴스나 주변에서 들려오는 AI 관련 단어들은 너무도 익숙해졌지만, 정작 내 생활과는 크게 관련이 없다고 느끼실 수도 있습니다. 한동안 카오스라는 단어가 유행하며 세탁기 이름에도 접두사처럼 붙었던 것 처럼, AI 역시 그런 바람이 아닐까 생각하실 수도 있습니다.

하지만 이미 AI 는 예정된 미래인 것 처럼 보입니다. 하루가 멀다하고 소개되는 AI 서비스와 성과, 투자 금액은 멀미가 날 지경입니다. 애플이 스마트폰을 소개한 이후 우리가 소통하는 방식부터 생활패턴, 산업까지 바뀐 것 처럼 AI 도 같은 변화를 준비하고 있는게 아닌가 싶습니다. 여기까지 흘러와서 이 글을 읽으신다면, 행여나 이런 시대의 흐름에 뒤쳐질까봐 기웃거리던 와중일 수도 있겠네요.

ChatGPT 로 촉발된 변화에 올라타고 싶은 마음이야 누구나 똑같겠지만, AI 동작 알고리즘이나 파이썬 코드를 살펴보면서 기술 전반을 파악하기란 쉽지 않습니다. 아직 기술은 빠르게 변화하고 있고 안정화 되기까지 시간도 필요해보입니다. 관련된 자료들은 파편화되어 있고 서비스들은 난립하고 있습니다. 새해 다짐처럼 마음잡고 공부해보려해도 목표까지 이르는 명확한 길이 보이지 않습니다.

그럼에도 AI, 특히 LLM 이라 불리는 거대언어모델(Large Language Model)을 이용한 개발과 프로토타이핑에 도전하거나 최소한 체험이라도 해보고 싶은 사람들을 위해 일련의 포스트를 준비했습니다.

“강좌”라는 타이틀을 달고 있긴 하지만, 이 포스트들은 몇 걸음 앞서 시행착오를 겪은 이가 남겨둔 안내서에 가깝습니다. 안정화 되지 않은 상태로 너무 빨리 라이브러리가 변해서 검색한 예제 코드가 동작하지 않을 때와 같은 답답함을 덜어주려고 남겨둔 메모 같은 겁니다.

여기에 있는 내용들도 조금만 시간이 지나면 동작하지 않거나 오류가 있을 수 있습니다. 조금만 시간을 내시어 잘못된 부분은 댓글을 남기거나 메일로 알려주세요. 시간이 되는대로 수정하고 보완해 두겠습니다.

시작하기에 앞서 인공지능의 역사와 LLM 개발사를 읽어두시면 이해에 많은 도움이 됩니다.

인공지능의 역사
LLM 의 발전과정 (자연어처리 발전사)

LLM 의 발전과정 (NLP 자연어처리 발전사) – Hello Llama

이미지 처리와 CNN 이미지 처리는 오랜 기간동안 중요한 정복대상이었고, 그 싸움에서 가장 중요한 도구 CNN (합성곱 신경망, Convolution Neural Network) 입니다. 우리가 적외선 카메라로 보면 세상이 다르게 보이듯, CNN은 원본 이미지 필터를 씌워 이미지에 숨겨진(?) 특징을 뽑아내는 과정입니다. 우리의 시각 처리과정과 신경망을 닮은 이 방식은 자연어 처리 방식에도 영향을 미칩니다. 자연어 처리 (NLP, Natural Language