01장 트랜스포머 아키텍처
_01.1 NLP 모델 발전사
__01.1.1 순환 신경망(RNN
__01.1.2 LSTM
__01.1.3 RNN 인코더-디코더
__01.1.4 어텐션 메커니즘
_01.2 트랜스포머 아키텍처
__01.2.1 임베딩
__01.2.2 위치 인코딩
__01.2.3 모델 입력
__01.2.4 인코더 층
__01.2.5 어텐션 메커니즘
_01.3 트랜스포머 학습 프로세스
_01.4 트랜스포머 추론 프로세스
_01.5 트랜스포머 종류와 애플리케이션
__01.5.1 인코더 전용 모델
__01.5.2 디코더 전용 모델
__01.5.3 인코더-디코더 모델
02장 허깅페이스 생태계
_02.1 허깅페이스 개요
__02.1.1 주요 구성 요소
__02.1.2 토크나이저
__02.1.3 커스텀 토크나이저 생성
__02.1.4 허깅페이스 사전 학습 토크나이저 사용
_02.2 Datasets 라이브러리
__02.2.1 허깅페이스 데이터셋 사용
__02.2.2 파이토치에서 허깅페이스 데이터셋 사용
_02.3 모델 파인튜닝
__02.3.1 환경 설정
__02.3.2 학습
__02.3.3 추론
_02.4 허깅페이스 모델 공유
__02.4.1 모델(Model 공유
__02.4.2 스페이스(Spaces 사용
03장 파이토치 트랜스포머 모델
_03.1 파이토치 트랜스포머 구성 요소
_03.2 임베딩
__03.2.1 임베딩 층 구현
_03.3 위치 인코딩
_03.4 마스킹
_03.5 트랜스포머 인코더 구성 요소
_03.6 트랜스포머 디코더 구성 요소
_03.7 파이토치 트랜스포머 층
04장 파이토치와 허깅페이스를 사용한 전이 학습
_04.1 전이 학습 필요성
_04.2 전이 학습 사용법
_04.3 사전 학습 모델 저장소
_04.4 사전 학습 모델
__04.4.1 자연어 처리(NLP
__04.4.2 컴퓨터 비전
__04.4.3 음성 처리
_04.5 프로젝트 1: BERT-b
★이 책에서 다루는 10가지 프로젝트★
1. BERT-base-uncased 모델 파인튜닝으로 분류기 생성
2. 셰익스피어가 쓴 작품 같은 텍스트 생성
3. AI 클리닉 질의 응답 챗봇 제작
4. 안과 분야의 AI 의사 구현
5. 객체 탐지를 위한 프로그램 제작
6. 음식 사진을 분류하는 다이어트 계산기 구현
7. Whisper를 사용한 음성 to 텍스트 변환
8. SpeechT5를 활용한 텍스트 to 음성 변환
9. 노이즈 제거로 오디오 품질 개선
10. 파이토치 모델 내보내기 및 직렬화 작업
★이 책에서 다루는 10가지 주요 키워드★
1. 트랜스포머 아키텍처
2. 허깅페이스 생태계
3. 파이토치 기반 모델 구현
4. 전이 학습
5. LLM(대규모 언어 모델
6. NLP 작업 (텍스트 분류 및 생성
7. 컴퓨터 비전 트랜스포머 모델
8. 음성 처리 트랜스포머
9. 멀티모달 트랜스포머
10. 모델 서빙 및 배포
★이 책의 대상 독자★
* 허깅페이스 트랜스포머 모델과 라이브러리의 전체 가이드라인이 필요한 데이터 과학자
* 자연어 처리, 컴퓨터 비전, 음성 인식 등 다양한 분야의 실전 프로젝트가 궁금한 AI 엔지니어
* AI 및 머신러닝 프로젝트 관리와 구현에 대한 이해가 필요한 프로젝트 관리자
* 트랜스포머 모델이 딥러닝, 머신러닝 분야에서 어떻게 활용되는지 알고 싶은 누구나!
★아마존 독자들의 추천사★
이 책은 파이토치와 허깅페이스의 강력한 기능을 활용하여 체계적으로 통찰력 있는 고급 기법들을 제시합니다. 트랜스포머의 실용적인 응용에 깊이 파고들고자 하는 딥러닝 애호가들의 참조 서적으로 적합합니다. 내용이 잘 구성되어 있으며 최신 머신러닝 기술에 관심이 있는 독자들에게 철저하게 다가갑니다.
- sunita
트랜스포머 기반 모델 구축을 시작하고 NLP, 비전, 오디오와 관련된 프로젝트를 개발하고자 한다면 훌륭한 교재입니다. 이 책은 직접 실행하고 연습할 수 있는 완전한 코드 예제를 제공하며, 학
