01장: NLP의 과거와 오늘
1.1 자연어 처리 발전의 주요 이정표
1.2 초기 기계 번역의 역사와 전환점
__1.2.1 아르츠루니와 트로얀스키의 연구
__1.2.2 위버의 제안과 조지타운-IBM 실험
__1.2.3 초기 기계 번역의 한계와 새로운 전환
1.3 인공지능의 시작
__1.3.1 튜링의 질문: 기계는 생각할 수 있는가?
__1.3.2 튜링 테스트의 한계
1.4 인공지능은 어떻게 학습하는가?
__1.4.1 인공지능의 학습 메커니즘 발전 과정
__1.4.2 퍼셉트론: 인공지능 학습의 첫걸음
1.5 역전파 알고리즘: 학습의 혁명
__1.5.1 비선형성: 더 똑똑한 인공지능을 만드는 열쇠
__1.5.2 역전파 알고리즘
1.6 트랜스포머의 등장: NLP의 새로운 시대
02장: GPT
2.1 런팟 소개와 사용법
__2.1.1 런팟 회원 가입
__2.1.2 크레딧 구매
__2.1.3 포드 구성
__2.1.4 주피터 랩
2.2 데이터 준비와 모델 구성
2.3 언어 모델 만들기
__2.3.1 라이브러리 설명
__2.3.2 __init__ 함수
__2.3.3 forward 메서드
__2.3.4 generate 메서드
2.4 Optimizer 추가하기
__2.4.1 데이터를 GPU로 전달하기
__2.4.2 Loss 함수 만들기
__2.4.3 전체 코드 복습
2.5 셀프 어텐션 추가하기
__2.5.1 문자들 간에 정보를 주고받는 방식(평균 방식
__2.5.2 행렬곱 연산으로 더 빠르게 정보를 주고받기
__2.5.3 셀프 어텐션이란?
__2.5.4 왜 dk 로 나눠야 하는가?
__2.5.5 셀프 어텐션 적용하기
2.6 멀티헤드 어텐션과 피드포워드
__2.6.1 멀티헤드 어텐션 만들기
__2.6.2 피드포워드 만들기
2.7 Blocks 만들기
2.8 토크나이저 만들기
__2.8.1 vocab_size 변화에 따른 토큰화 비교
__2.8.2 토크나이저 만들기
03장: 전체 파인튜
실무 현장에서 꼭 필요한 파인튜닝, PEFT, vLLM 서빙 기술을 직접 실습하면서 배워 보자!
AI 기술의 최전선에서 배우는 LLM 파인튜닝의 모든 것! 이론적 토대부터 실전 활용까지 단계별로 마스터할 수 있습니다.
* NLP의 역사적 발전과 역전파의 핵심 원리 마스터
* GPT 모델의 심층 이해: 셀프 어텐션, 토크나이저 구현부터 실전 응용까지
* Gemma 2와 Llama 3 최신 모델 분석과 GPU 병렬화 학습
* LoRA, QLoRA를 활용한 파인튜닝 기법 실습
* vLLM으로 실제 서비스에 적용 가능한 모델 서빙
Runpod 환경의 실습 프로젝트를 통해 이론과 실무를 동시에 학습할 수 있으며, 단일 GPU부터 다중 GPU 환경까지 실전에서 바로 활용 가능한 노하우를 제공합니다.
