@JayAlammar @MaartenGrootendorst 직접 해보는 #대형언어모델

BIBLIOGRAPHY

Alammar, J. (2025, February 10). Language models & co. | jay alammar | substack. https://newsletter.languagemodels.co/?utm_campaign=1741130

Grootendorst, M. (2025, March 17). Exploring language models | maarten grootendorst | substack. https://newsletter.maartengrootendorst.com/

Jay Alammar. (2025). Hands-on large language models. https://www.llm-book.com/#about

Jay Alammar. (2025). Handsonllm/hands-on-large-language-models [Computer software]. HandsOnLLM. https://github.com/HandsOnLLM/Hands-On-Large-Language-Models (2024)

Jay Alammar, & Maarten Grootendorst. (2025). 핸즈온 대규모 언어 모델 llms. O’Reilly. https://www.yes24.com/product/goods/125842237

History

[2025-03-27 Thu 13:46] create

직접 해보는 대형 언어 모델 LLMs

(Jay Alammar & Maarten Grootendorst, 2025)

Hands-On Large Language Models: Language Understanding and Generation
Jay Alammar and Maarten Grootendorst
2025
프롬프트 엔지니어링부터 임베딩, 시맨틱 검색, 미세 튜닝까지, 손에 잡히는 LLM 개념

https://www.yes24.com/product/goods/146828240

책소개

LLM, 눈으로 익히고 손으로 구현하라. 트랜스포머 구조부터 시맨틱 검색, 미세 튜닝, 프롬프트 엔지니어링까지 그림과 실전 코드로 만들면서 배우는 대규모 언어 모델의 모든 것

『핸즈온 LLM』은 LLM을 쓰는 것을 넘어, 이해하고 구현하는 것까지 나아가고 싶은 이를 위한 실전 가이드이다. 직관적인 시각 자료와 예제를 제공해 ‘왜 이런 구조가 필요한지’ 이해하고 실용적인 도구와 개념을 익힐 수 있도록 구성했다. 사전 훈련된 대규모 언어 모델을 사용하는 방법과 시맨틱 검색 시스템을 만드는 방법, 텍스트 분류, 검색, 클러스터링을 위해 사전 훈련된 모델과 각종 라이브러리를 사용하는 방법을 배운다.

1부 언어 모델 이해하기

1장 대규모 언어 모델 소개

_1.1 언어 AI란?
_1.2 언어 AI의 최근 역사
_1.3 ‘대규모 언어 모델’의 정의
_1.4 대규모 언어 모델의 훈련 패러다임
_1.5 대규모 언어 모델 애플리케이션: 왜 유용한가요?
_1.6 책임 있는 LLM 개발과 사용
_1.7 자원이 부족해도 괜찮습니다.
_1.8 대규모 언어 모델 인터페이스
_1.9 첫 번째 텍스트 생성하기
_1.10 요약

2장 토큰과 임베딩

_2.1 LLM 토큰화
_2.2 토큰 임베딩
_2.3 텍스트 임베딩(문장과 전체 문서)
_2.4 LLM을 넘어 활용되는 단어 임베딩
_2.5 추천 시스템을 위한 임베딩
_2.6 요약

3장 대규모 언어 모델 자세히 살펴보기

_3.1 트랜스포머 모델 개요
_3.2 트랜스포머 아키텍처의 최근 발전 사항
_3.3 요약

2부 사전 훈련된 언어 모델 사용하기

4장 텍스트 분류

_4.1 영화 리뷰 데이터셋
_4.2 표현 모델로 텍스트 분류하기
_4.3 모델 선택
_4.4 작업에 특화된 모델 사용하기
_4.5 임베딩을 활용하여 분류 작업 수행하기
_4.6 생성 모델로 텍스트 분류하기
_4.7 요약

5장 텍스트 클러스터링과 토픽 모델링

_5.1 아카이브 논문: 계산 및 언어
_5.2 텍스트 클러스터링을 위한 파이프라인
_5.3 텍스트 클러스터링에서 토픽 모델링으로
_5.4 요약

6장 프롬프트 엔지니어링

_6.1 텍스트 생성 모델 사용하기
_6.2 프롬프트 엔지니어링 소개
_6.3 고급 프롬프트 엔지니어링
_6.4 생성 모델을 사용한 추론
_6.5 출력 검증
_6.6 요약

7장 고급 텍스트 생성 기술과 도구

_7.1 모델 I/O: 랭체인으로 양자화된 모델 로드하기
_7.2 체인: LLM의 능력 확장하기
_7.3 메모리: 대화를 기억하도록 LLM 돕기
_7.4 에이전트: LLM 시스템 구축하기
_7.5 요약

8장 시맨틱 검색과 RAG

_8.1 시맨틱 검색과 RAG 소개
_8.2 언어 모델을 사용한 시맨틱 검색
_8.3 RAG
_8.4 요약

9장 멀티모달 대규모 언어 모델

_9.1 비전 트랜스포머
_9.2 멀티모달 임베딩 모델
_9.3 텍스트 생성 모델을 멀티모달로 만들기
_9.4 요약

3부 언어 모델 훈련 및 미세 튜닝

10장 텍스트 임베딩 모델 만들기

_10.1 임베딩 모델
_10.2 대조 학습이란?
_10.3 SBERT
_10.4 임베딩 모델 만들기
_10.5 임베딩 모델 미세 튜닝
_10.6 비지도 학습
_10.7 요약

11장 분류용 표현 모델 미세 튜닝하기

_11.1 지도 분류
_11.2 퓨샷 분류
_11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기
_11.4 개체명 인식
_11.5 요약

12장 생성 모델 미세 튜닝하기

_12.1 LLM 훈련의 세 단계: 사전 훈련, 지도 학습 미세 튜닝, 선호도 튜닝
_12.2 지도 학습 미세 튜닝
_12.3 QLoRA를 사용한 지시 기반 튜닝
_12.4 생성 모델 평가
_12.5 선호도 튜닝/정렬/RLHF
_12.6 보상 모델을 사용한 선호도 평가 자동화
_12.7 DPO를 사용한 선호도 튜닝
_12.8 요약

마치며

출판사 리뷰

대규모 언어 모델(LLM)이 인류의 소통 방식을 근본적으로 바꾸고 있습니다. 기계가 인간의 언어를 이해하고 생성하는 능력은 AI 기술의 새 지평을 열었을 뿐 아니라, 산업 전반에 혁신의 바람을 불러일으키고 있습니다.

이 책은 시각적 접근법으로 복잡한 LLM의 세계를 명쾌하게 안내합니다. 딥러닝 이전 단순한 단어 표현 방식부터 최신 트랜스포머 아키텍처까지, LLM의 발전 과정을 한눈에 파악할 수 있습니다. 독자는 LLM의 내부 작동 원리를 이해하고, 그 구조와 훈련 방법, 다양한 미세 튜닝 기법을 직접 탐험하게 됩니다.

실용적인 응용에 중점을 둔 이 책은 텍스트 분류, 클러스터링, 토픽 모델링부터 챗봇과 검색 엔진 구축까지 다양한 LLM 응용 사례를 상세히 다룹니다. 직관적인 설명과 시각적 도해, 실전 코드가 조화롭게 어우러져 독자가 쉽게 이해할 수 있습니다.

AI와 언어 모델에 첫 발을 내딛는 입문자부터 더 깊은 이해를 추구하는 전문가까지, 흥미진진한 LLM의 세계로 여러분을 초대합니다. 이 책과 함께라면 누구나 LLM의 무한한 가능성을 직접 경험할 수 있을 것입니다.

텍스트 생성과 표현에 뛰어난 트랜스포머 언어 모델의 구조
텍스트 문서를 그룹화하고 주제를 파악하는 고급 LLM 파이프라인
밀집 검색과 재순위 결정 같은 방법으로 키워드 검색을 넘어서는 의미 검색 엔진 구축
프롬프트 엔지니어링부터 검색 증강 생성까지 생성 모델 활용법
미세 튜닝, 생성적 사전 학습, 문맥 학습 같은 기술로 특정 용도에 맞게 LLM을 훈련하고 최적화하는 방법

이 책의 구성

1부: 언어 모델 이해하기

소규모 및 대규모 언어 모델의 내부 동작 원리
언어 모델의 두 가지 핵심 요소: 토큰화와 임베딩
그림으로 살펴보는 트랜스포머의 모델 구조

2부: 사전 훈련된 언어 모델 사용하기

지도 학습 분류
텍스트 클러스터링과 토픽 모델링
임베딩 모델 활용한 시맨틱 검색
텍스트 생성 모델
비전 도메인에 언어 모델 사용하는 방법

3부: 언어 모델 훈련 및 미세 튜닝

임베딩 모델을 만들고 미세 튜닝하는 방법
분류를 위해 BERT를 미세 튜닝하는 방법
생성 모델을 미세 튜닝하는 방법

대상 독자

챗GPT 같은 AI 서비스가 어떻게 작동하는지 궁금하신 분
NLP 프로젝트를 시작하려는 학생 및 개발자
AI를 활용한 비즈니스 모델을 고민하는 실무자

Visual Storytelling

Throughout our careers, Jay and I have created educative content in AI with a large focus on illustrations. With the complex and often mathematics-heavy nature of AI, the field quickly becomes overwhelming. By leveraging a visual style of diving into these techniques, we aim to focus on understanding these techniques moreso than writing down the equations that make them up.

Great examples of our visual styles can be found here:

The Illustrated Transformer - Jay Alammar
A Visual Guide to Mamba and State Space Models - Maarten Grootendorst

If these styles appeal to you, then you will definitely like this book!

Part 1 - Concepts

Introduction to Language Models

Token Embeddings

Looking Inside Transformer LLMs

Part 2 - Using Pre-Trained Language Models

Text Classification

Text Clustering and Topic Modeling

Prompt Engineering

Advanced Text Generation Techniques and Tools

Semantic Search and Retrieval Augmented Generation

Multimodal Large Language Models

Part 3 - Training and Fine-Tuning

Creating Text Embedding Models

Fine-Tuning Representation Models for Classification

Fine-Tuning Generation Models

저자 Hands-On Large Language Models

(Jay Alammar, 2025)

Jay Alammar는 Cohere의 이사이자 Engineering Fellow입니다. 인기 있는 AI 블로그를 통해 Jay는 수백만 명의 연구원과 엔지니어가 기본적인 것부터 최첨단 기술(Transformers, BERT, GPT-3, Stable Diffusion)에 이르기까지 머신 러닝 도구와 개념을 시각적으로 이해하도록 도왔습니다. Jay는 또한 Deeplearning.ai와 Udacity에서 인기 있는 머신 러닝 및 자연어 처리 과정의 공동 제작자입니다.

Maarten Grootendorst는 IKNL의 선임 임상 데이터 과학자입니다. 그는 심리학 석사 학위 2개와 데이터 과학 석사 학위 1개를 보유하고 있으며, 이를 활용하여 AI 블로그에 시각적 가이드를 제작합니다. 그는 수백만 번 다운로드되었고 전 세계 데이터 전문가들이 사용하는 오픈 소스 패키지(BERTopic, PolyFuzz, KeyBERT)의 저자이자 관리자입니다.

HandsOnLLM/Hands-On-Large-Language-Models

(Jay Alammar, 2024/2025)

Jay Alammar
Official code repo for the O’Reilly Book - “Hands-On Large Language Models”
2025

junghanacs🧠

Table of Contents

Backlinks

@JayAlammar @MaartenGrootendorst 직접 해보는 #대형언어모델 - Hands-on LLMs