[01부] 이 분야의 최근 발전 상황, 실습 준비, 그리고 첫 번째 헬로 월드 프로그램
01장: BoW(단어 주머니에서 트랜스포머까지
1.1 NLP 접근 방식들의 진화 과정
1.2 전통적인 NLP 접근 방식의 요약
1.2.1 언어 모델의 설계와 생성
1.3 딥러닝 활용
1.3.1 RNN 모델을 사용한 단어 순서 고려
1.3.2 LSTM 및 게이트 순환 유닛
1.3.3 문맥적 단어 임베딩과 전이 학습
1.4 트랜스포머 아키텍처의 개요
1.4.1 주의 메커니즘
1.4.2 다중 헤드 주의 메커니즘
1.5 트랜스포머를 이용한 전이 학습(TL 활용
1.6 다중 모달 학습
요약
참고문헌
02장: 실습 환경 준비와 기본 지식
2.1 기술적 요구사항
2.2 아나콘다로 Transformer 라이브러리 설치
2.2.1 리눅스에 아나콘다 설치
2.2.2 Windows에 아나콘다 설치
2.2.3 macOS에 아나콘다 설치
2.2.4 텐서플로, 파이토치, Transformer 설치
2.2.5 구글 코랩에서 Transformers 설치 및 사용
2.3 언어 모델과 토크나이저 다루기
2.4 커뮤니티 제공 모델 활용
2.5 다중 모달 트랜스포머 활용하기
2.6 벤치마크와 데이터셋 활용
2.6.1 주요 벤치마크
2.6.2 GLUE 벤치마크
2.6.3 SuperGLUE 벤치마크
2.6.4 XTREME 벤치마크
2.6.5 XGLUE 벤치마크
2.6.6 SQuAD 벤치마크
2.6.7 API를 이용한 데이터셋 접근
2.7 datasets 라이브러리를 이용한 데이터 다루기
2.7.1 정렬, 첨자 접근, 뒤섞기
2.7.2 캐싱과 재사용성
2.7.3 filter 함수를 이용한 필터링
2.7.4 map 함수를 이용한 데이터 처리
2.7.5 지역 파일 다루기
2.7.6 모델 학습을 위한 데이터셋 준비
2.8 속도와 메모리 사용량 벤치마크
요약
[02부] 여러 가지 트랜스포머 모델: 오토인코더에서 자기회귀 모델까지
이 책에서 다루는 내용
간단하거나 복잡한 여러 NLP 문제를 파이썬을 이용해서 해결하는 데 집중한다.
전통적인 NLP 접근 방식으로 분류/회귀 문제를 해결하는 방법을 익힌다.
언어 모델을 학습시키고 하위 작업에 맞게 미세조정하는 방법을 이해한다.
생성형 AI와 컴퓨터 비전 작업에 트랜스포머를 활용하는 방법을 익힌다.
허깅 페이스의 Transformers 라이브러리를 이용해 트랜스포머 기반 NLP 앱을 구축한다.
기계번역과 대화형 AI 등 다국어 언어 생성 작업을 수행한다.
트랜스포머 모델의 추론 속도를 높이고 지연 시간을 단축하기 위한 효율성 개선 기법을 설명한다.
