1장 트랜스포머란 무엇인가?
1.1 트랜스포머 생태계
1.2 트랜스포머로 NLP 모델 최적화
1.3 어떤 리소스를 사용해야 하나요?
1.4 정리하기
1.5 문제
1.6 참고 문헌
2장 트랜스포머 모델 아키텍처 살펴보기
2.1 트랜스포머의 시작: Attention is All You Need
2.2 학습과 성능
2.3 허깅페이스의 트랜스포머 모델
2.4 정리하기
2.5 문제
2.6 참고 문헌
3장 BERT 모델 미세 조정하기
3.1 BERT 아키텍처
3.2 BERT 미세 조정하기
3.3 정리하기
3.4 문제
3.5 참고 문헌
4장 RoBERTa 모델 처음부터 사전 학습하기
4.1 토크나이저 학습하기 및 트랜스포머 사전 학습하기
4.2 처음부터 KantaiBERT 구축하기
4.3 다음 단계
4.4 정리하기
4.5 문제
4.6 참고 문헌
5장 RoBERTa 모델 처음부터 사전 학습하기
5.1 트랜스포머의 트랜스덕션과 귀납적 상속
5.2 트랜스포머 성능 vs 인간 기준값
5.3 다운스트림 작업 실행하기
5.4 정리하기
5.5 문제
5.6 참고 문헌
6장 트랜스포머를 사용한 기계 번역
6.1 기계 번역 정의하기
6.2 WMT 데이터셋 전처리하기
6.3 BLEU로 기계 번역 평가하기
6.4 구글 번역으로 번역하기
6.5 트랙스로 번역하기
6.6 정리하기
6.7 문제
6.8 참고 문헌
7장 GPT-3 엔진을 사용한 초인간 트랜스포머 등장
7.1 GPT-3 트랜스포머 모델을 사용한 초인간 NLP
7.2 OpenAI GPT 트랜스포머 모델의 아키텍처
7.3 GPT-2를 사용한 일반 텍스트 완성
7.4 커스텀 GPT-2 언어 모델 학습
7.5 OpenAI GPT-3 작업 실행하기
7.6 GPT-2와 GPT-3의 출력 비교하기
7.7 GPT-3 미세 조정하기
7.8 4차 산업혁명 AI 전문가의 역할
7.9 정리하기
7.10 문제
7.11 참고 문헌
8장
이 책은 자연어 처리와 트랜스포머 모델의 혁신적 발전을 심도 있게 탐구한 내용으로, AI와 NLP 분야에서 중요한 가이드가 될 것입니다. 저자는 트랜스포머 모델의 셀프-어텐션 메커니즘과 병렬 처리 능력을 통해 대규모 데이터 학습이 가능해지는 과정을 상세히 설명합니다. 이는 NLP 작업의 판도를 바꾸며, 언어 모델링, 챗봇, 텍스트 요약, 음성 인식, 기계 번역 등 다양한 응용 분야에서 뛰어난 성능을 발휘합니다.
특히, 이 책에서 파이썬, 파이토치, 텐서플로우 등의 도구를 사용하여 언어 이해의 핵심 요소를 다루고, 다양한 트랜스포머 모델의 아키텍처를 분석합니다. GPT-4와 같은 대규모 모델의 학습과 응용을 통해 AI의 최신 동향을 파악할 수 있으며, 소셜 네트워크, 스트리밍 서비스 등 다양한 도메인에서의 활용 가능성이 있다는 것을 알려줍니다.
또한, 이 책은 단순한 기술 설명에 그치지 않고, 실제 적용 사례와 코딩 예제를 통해 독자가 직접 실습해볼 수 있도록 구성되어 있습니다. 자연어 이해를 위한 딥러닝 방법론에 중점을 두고, 다양한 응용사례와 실습을 통해 독자의 이해를 돕습니다.
결론적으로, 이 책은 트랜스포머 모델을 중심으로 한 NLP의 혁신적 발전을 이해하고 이를 실제로 적용하는 데 필요한 지식을 제공하는 필수적인 참고서입니다. AI 전문가뿐만 아니라, NLP에 관심 있는 모든 독자에게 가치 있는 정보를 제공하며, 파이썬 프로그래밍에 익숙한 딥러닝 및 NLP 실무자, 데이터 분석가, 데이터 과학자들에게 특히 유용할 것입니다.
옮긴이의 말
최근 머신러닝에 대한 관심이 높아지고 기술이 발전함에 따라, 사람이 직접 수행하던 반복적인 작업들이 자동화되고 해결하지 못했던 문제들이 해결되고 있습니다. 시간이 지남에 따라 데이터는 계속해서 축적되고 있습니다. 이 방대한 양의 데이터를 학습하기 위해 더 크고 더 복잡한 모델이 계속해서 제안되었으며, 트랜스포머는 그중 가장 큰 혁신을 일으켰습니다. 이제 트랜스포머는 모든 인공지능 분야의 기본 소
