BIBLIOGRAPHY
로널드 크노이젤. 2022. 딥러닝을 위한 수학 - 신경망 수학 기초부터 역전파와 경사하강법까지. Translated by 류광. https://www.yes24.com/product/goods/111086874.
할라 넬슨. 2023. Ai를 위한 필수 수학 AI 시스템에 쓰이는 통계학, 선형 대수학, 미적분학. Translated by 안민재. 1st edition. O’Reilly Media. https://www.yes24.com/product/goods/130156635.
히스토리
- 딥러닝 수학 추가
- 생성
관련노트
@할라넬슨 AI를 위한 필수 수학 AI
- Essential Math for AI: Next-Level Mathematics for Efficient and Successful AI Systems
- 할라 넬슨 안민재
- 시스템에 쓰이는 통계학, 선형 대수학, 미적분학
책소개
- AI의 시작은 수학이다!
- 정리/증명/코딩은 빼고, 적용 사례에 집중한 수학 가이드
이 책은 복잡한 공식과 방대한 양에 압도되어 수학 공부를 포기하는 사람들을 위해 만들어졌다. AI 시스템 구축에 필수적인 통계학, 선형 대수학, 미적분학 등 기본 수학 개념을 쉽게 풀어내어, 이해하기 쉽게 설명한다. 어려운 정리나 증명, 코딩은 최소화하고, 각 개념이 AI 애플리케이션에 어떻게 적용되는지를 실제 사례를 통해 보여준다. 이를 통해 수학적 세부 사항보다는 수학 개념 간의 관계와 전체적인 그림을 그리는 데 집중할 수 있도록 한다.
또한, AI의 어떤 부분에서 어떤 수학이 왜 사용되는지를 명확하게 설명하며, 단순한 이론 나열을 넘어 실제 AI 시스템에서 수학이 어떻게 활용되는지를 구체적인 예시를 통해 알기 쉽게 설명한다. 머신러닝 알고리즘의 기본 원리, 신경망의 작동 방식, 자연어 처리의 수학적 기반 등 AI의 핵심 분야별로 관련 수학 개념을 소개하여 독자들이 AI의 작동 원리를 체계적으로 이해할 수 있도록 돕는다. AI에 관심 있는 학생이나 개발자, 연구자는 물론, AI 기술을 비즈니스에 적용하고자 하는 경영진도 이 책으로 통찰력을 얻을 수 있을 것이다.
Chapter 1 인공지능 수학을 왜 배워야 할까?
- 1.1 인공지능이란 무엇일까?
- 1.2 인공지능이 각광받는 이유는 무엇일까?
- 1.3 인공지능은 무엇을 할 수 있을까?
- 1.4 인공지능의 한계는 무엇일까?
- 1.5 인공지능 시스템이 실패하면 어떻게 될까?
- 1.6 인공지능은 어디로 향하고 있을까?
- 1.7 현재 인공지능 분야의 가장 큰 기여자는 누구일까?
- 1.8 수학이 인공지능에 기여한 점은 무엇일까?
Chapter 2 데이터, 데이터, 또 데이터
- 2.1 인공지능을 위한 데이터
- 2.2 실제 데이터와 시뮬레이션 데이터
- 2.3 수학 모델: 선형과 비선형
- 2.4 실제 데이터 예시
- 2.5 시뮬레이션 데이터 예시
- 2.6 수학 모델: 시뮬레이션과 인공지능
- 2.7 어디서 데이터를 얻는가?
- 2.8 데이터 분포, 확률, 통계에서 자주 등장하는 용어
- 2.9 연속 분포와 이산 분포
- 2.10 결합 확률 밀도 함수의 힘
- 2.11 균등 분포
- 2.12 정규 분포
- 2.13 자주 사용되는 분포들
- 2.14 분포의 다양한 의미
- 2.15 A/B 테스트
Chapter 3 데이터에 함수를 최적화시키는 방법
- 3.1 유용한 고전 머신러닝 모델들
- 3.2 수치적 방법과 분석적 방법
- 3.3 회귀: 숫자 값 예측
- 3.4 로지스틱 회귀: 이항 분류
- 3.5 소프트맥스 회귀: 다항 분류
- 3.6 신경망의 마지막 층에 모델 통합하기
- 3.7 유명한 머신러닝 방법과 앙상블 방법
- 3.8 분류 모델의 성능 평가
Chapter 4 신경망을 위한 최적화
- 4.1 대뇌 피질과 인공 신경망
- 4.2 훈련 함수: 완전 연결 신경망, 밀집 신경망, 순방향 신경망
- 4.3 손실 함수
- 4.4 최적화
- 4.5 정규화
- 4.6 머신러닝 모델의 하이퍼파라미터
- 4.7 연쇄 법칙과 역전파
- 4.8 입력 데이터 피처의 중요도 평가
Chapter 5 합성곱 신경망과 컴퓨터 비전
- 5.1 합성곱과 교차 상관관계
- 5.2 시스템 설계 관점에서의 합성곱
- 5.3 합성곱과 1차원 이산 신호
- 5.4 합성곱과 2차원 이산 신호
- 5.5 선형 대수 표기법
- 5.6 풀링
- 5.7 이미지 분류를 위한 합성곱 신경망
Chapter 6 특이값 분해: 이미지 처리, 자연어 처리, 소셜 미디어
- 6.1 행렬 분해
- 6.2 대각 행렬
- 6.3 공간상 선형 변환인 행렬
- 6.4 행렬 곱셈을 위한 세 가지 방법
- 6.5 큰 크림
- 6.6 특이값 분해의 구성 요소
- 6.7 특이값 분해 vs 고유값 분해
- 6.8 특이값 분해의 계산
- 6.9 유사 역행렬
- 6.10 이미지에 특이값 분해 적용하기
- 6.11 주성분 분석과 차원 축소
- 6.12 주성분 분석과 클러스터링
- 6.13 소셜 미디어에서의 응용
- 6.14 잠재 의미 분석
- 6.15 랜덤 특이값 분해
Chapter 7 자연어 처리와 금융 인공지능: 벡터화와 시계열 분석
- 7.1 자연어 처리 인공지능
- 7.2 자연어 데이터 준비하기
- 7.3 통계적 모델과 로그 함수
- 7.4 단어 수에 관한 지프의 법칙
- 7.5 자연어 문서의 다양한 벡터 표현
- 7.6 코사인 유사도
- 7.7 자연어 처리 애플리케이션
- 7.8 트랜스포머와 어텐션 모델
- 7.9 시계열 데이터를 위한 합성곱 신경망
- 7.10 시계열 데이터를 위한 순환 신경망
- 7.11 자연어 데이터 예제
- 7.12 금융 인공지능
Chapter 8 확률적 생성 모델
- 8.1 생성 모델은 어떤 경우에 유용한가?
- 8.2 생성 모델의 일반적인 수학
- 8.3 결정론적 사고에서 확률 이론적 사고로의 전환
- 8.4 최대 가능도 추정
- 8.5 명시적 밀도 모델과 암시적 밀도 모델
- 8.6 추적 가능한 명시적 밀도: 믿을 수 있는 가시적인 신경망
- 8.7 명시적 밀도 - 추적 가능: 변수 변환 및 비선형 독립 성분 분석
- 8.8 명시적 밀도 - 추적 불가능: 변분 오토인코더의 변분법을 통한 근사화
- 8.9 명시적 밀도 - 추적 불가능: 마르코프 체인을 통한 볼츠만 머신 근사
- 8.10 암시적 밀도 - 마르코프 체인: 확률적 생성 모델
- 8.11 암시적 밀도 - 적대적 생성 모델
- 8.12 예제: 머신러닝 및 생성 신경망을 활용한 고에너지 물리학
- 8.13 기타 생성 모델
- 8.14 생성 모델의 발전
- 8.15 확률 이론적 언어 모델링
Chapter 9 그래프 모델
- 9.1 그래프: 노드, 엣지, 피처
- 9.2 예제: 페이지 랭크 알고리즘
- 9.3 그래프를 사용한 역행렬 계산
- 9.4 케일리 그래프 그룹: 순수 대수학과 병렬 연산
- 9.5 그래프 내 메시지 전달
- 9.6 그래프의 무한한 활용
- 9.7 그래프에서의 랜덤 워크
- 9.8 노드 표현 학습
- 9.9 그래프 신경망의 응용
- 9.10 동적 그래프 모델
- 9.11 베이즈 네트워크
- 9.12 확률적 인과관계 모델링을 위한 그래프 다이어그램
- 9.13 그래프 이론의 간략한 역사
- 9.14 그래프 이론의 주요 고려 사항
- 9.15 그래프 알고리즘과 연산 측면
Chapter 10 운용 과학
- 10.1 공짜 점심은 없다
- 10.2 복잡도 분석과 빅오 표기법
- 10.3 최적화: 운용 과학의 핵심
- 10.4 최적화에 대한 고찰
- 10.5 네트워크상에서의 최적화
저 : 할라 넬슨 (Hala Nelson) 관심작가 알림신청 작가 파일
제임스 매디슨 대학교의 수학과 부교수. 뉴욕 대학교의 쿠란트 수학연구소에서 박사 학위를 받고, 미시간 대학교에서 박사 후 연구 조교수로 일했다. 수학 모델링을 전문으로 하며 공공 부문의 긴급 및 인프라 서비스를 위한 자문을 맡고 있다. 복잡한 아이디어를 간단하고 실용적인 용어로 번역하는 것을 좋아한다. 설명하는 사람이 수학 개념을 제대로 이해하지 못했거나 지식을 과시하려는 것이 아니라면 수학 개념을 쉽게 이해할 … 펼쳐보기
역 : 안민재 관심작가 알림신청 작가 파일
연세대학교 전기전자공학부를 졸업하고 웹 및 모바일 애플리케이션 개발로 코드를 읽고 쓰기 시작했다. 스타트업에서 추천 시스템을 개발하면서 데이터에 푹 빠졌고, 나스미디어에서 AI를 도입하기 위한 데이터 파이프라인 구축, 모델 개발, 서비스 및 MLOps 전반을 다루었다. 현재는 스마일게이트 AI 센터에서 ML 엔지니어로 일하고 있다. 요즘은 LLM 연구와 프로덕션 환경에서의 LLM 운영에 관심이 많다. 개발과 계발 이야기를 기록하고자 두 개의 블로그(https://emjayahn.github.io, https://emjayahn.kr)를 운영 중이다.
출판사 리뷰
인공지능 시대의 필수적인 수학 개념을 쉽고 직관적으로 설명한 안내서!
『AI를 위한 필수 수학』은 인공지능과 데이터 과학의 기초가 되는 수학적 원리를 누구나 이해할 수 있도록 설명합니다. 이 책은 수학 공식과 증명에 집중하기보다는, 인공지능 프로젝트에서 실제로 수학이 어떻게 적용되는지를 다양한 사례와 함께 다루며, 직관적 이해를 돕습니다.
특히, 그래프 이론과 운용 과학을 비롯한 상대적으로 자료가 부족한 분야에 대한 내용을 심도 있게 다루어, 실무에 바로 적용할 수 있는 아이디어를 제공합니다. 인공지능 학습의 시작을 계획하는 분들뿐만 아니라, 관련 분야의 실무자들에게도 유용한 자료가 될 것입니다.
@로널드 딥러닝을 위한 수학 - 신경망 수학 기초부터 역전파와 경사하강법까지
(로널드 크노이젤 2022) Math for Deep Learning 로널드 크노이젤 류광 2022
책소개
심층학습의 역전파, 경사하강법을 제대로 익히기 위한 세심한 빌드업!
이 책은 Deep Learning, 즉 심층학습의 진입장벽으로서 부담스러울 수도 있는 수학을 재미있는 예시와 최대한 쉬운 설명으로 접근한 책이다. 벡터와 행렬, 확률 분포 등의 근본적인 주제를 설명한 뒤에 행렬 미분과 같은 좀 더 심화한 개념으로 나아가며, 마지막에는 모든 논의를 통합해서 심층학습의 필수 알고리즘인 역전파와 경사하강법을 다룬다.
목차
CHAPTER 1 실습 환경 설정
- 1.1 도구 모음 설치 2
- 1.1.1 리눅스 2 / 1.1.2 macOS 3 / 1.1.3 Windows 4
- 1.2 NumPy 5
- 1.2.1 배열 정의 6 / 1.2.2 데이터 형식 7 / 1.2.3 2차원 배열 8
- 1.2.4 0 배열과 1 배열 8 / 1.2.5 고급 색인 접근 9 / 1.2.6 디스크 읽기/쓰기 12
- 1.3 SciPy 12
- 1.4 Matplotlib 14
- 1.5 Scikit-Learn 16
- 1.6 요약 18
CHAPTER 2 확률 1부 19
- 2.1 기본 개념들 20
- 2.1.1 표본 공간과 사건 20 / 2.1.2 확률 변수 21 / 2.1.3 인간은 확률에 약하다 22
- 2.2 확률의 법칙들 24
- 2.2.1 단일 사건의 확률 24 / 2.2.2 합의 법칙 27 / 2.2.3 곱의 법칙 28
- 2.2.4 합의 법칙 보충 29 / 2.2.5 생일 역설 30 / 2.2.6 조건부 확률 34
- 2.2.7 전체 확률 35
- 2.3 결합 확률과 주변 확률 36
- 2.3.1 결합 확률표 37 / 2.3.2 확률의 연쇄법칙 42
- 2.4 요약 45
CHAPTER 3 확률 2부 47
- 3.1 확률 분포 47
- 3.1.1 히스토그램과 확률 48 / 3.1.2 이산 확률 분포 52 / 3.1.3 연속 확률 분포 58
- 3.1.4 중심 극한 정리 62 / 3.1.5 큰 수의 법칙 64
- 3.2 베이즈 정리 66
- 3.2.1 다시 살펴보는 암 진단 예제 67 / 3.2.2 사전 확률의 갱신 68
- 3.2.3 기계학습의 베이즈 정리 70
- 3.3 요약 73
CHAPTER 4 통계 75
- 4.1 데이터의 종류 76
- 4.1.1 명목형 자료 76 / 4.1.2 순서형 자료 76 / 4.1.3 구간 자료 76
- 4.1.4 비율 자료 77 / 4.1.5 명목형 자료와 심층학습 78
- 4.2 요약 통계량 78
- 4.2.1 평균과 중앙값 79 / 4.2.2 변동의 측도 83
- 4.3 분위수와 상자 그림 87
- 4.4 결측 자료 92
- 4.5 상관관계 96
- 4.5.1 피어슨 상관계수 96 / 4.5.2 스피어먼 상관계수 100
- 4.6 가설 검정 103
- 4.6.1 가설 104 / 4.6.2 t-검정 105 / 4.6.3 맨-휘트니 U 검정 111
- 4.7 요약 113
CHAPTER 5 선형대수 1부 115
- 5.1 스칼라, 벡터, 행렬, 텐서 116
- 5.1.1 스칼라 116 / 5.1.2 벡터 116 / 5.1.3 행렬 118 / 5.1.4 텐서 119
- 5.2 텐서 산술 연산 122
- 5.2.1 배열 연산 122 / 5.2.2 벡터 연산 124
- 5.2.3 행렬 곱셈 134 / 5.2.4 크로네커 곱 140
- 5.3 요약 141
CHAPTER 6 선형대수 2부 143
- 6.1 정방행렬 144
- 6.1.1 왜 정방행렬인가? 144 / 6.1.2 전치, 대각합, 거듭제곱 146
- 6.1.3 특별한 정방행렬들 148 / 6.1.4 단위행렬 149 / 6.1.5 행렬식 151
- 6.1.6 역행렬 155 / 6.1.7 대칭행렬, 직교행렬, 유니터리 행렬 157
- 6.1.8 대칭행렬의 정부호성 158
- 6.2 고윳값과 고유벡터 159
- 6.2.1 고윳값과 고유벡터 구하기 160
- 6.3 벡터 노름과 거리 함수 164
- 6.3.1 L-노름과 거리 함수 164 / 6.3.2 공분산 행렬 166
- 6.3.3 마할라노비스 거리 169 / 6.3.4 쿨백-라이블러 발산값 172
- 6.4 주성분 분석 174
- 6.5 특잇값 분해와 유사 역행렬 178
- 6.5.1 특잇값 분해 예제 179 / 6.5.2 두 가지 용도 181
- 6.6 요약 183
CHAPTER 7 미분 185
- 7.1 기울기(슬로프) 186
- 7.2 도함수 188
- 7.2.1 도함수의 공식적인 정의 188 / 7.2.2 기본 미분법 190
- 7.2.3 삼각함수 미분법 195 / 7.2.4 지수함수와 로그함수의 미분법 198
- 7.3 함수의 극솟값과 극댓값 201
- 7.4 편미분 205
- 7.4.1 혼합 편미분 207 / 7.4.2 편미분 연쇄법칙 208
- 7.5 기울기(그래디언트) 210
- 7.5.1 기울기 계산 210 / 7.5.2 기울기의 시각화 213
- 7.6 요약 216
CHAPTER 8 행렬 미분 217
- 8.1 공식들 218
- 8.1.1 스칼라 인수 벡터 함수 219 / 8.1.2 벡터 인수 스칼라 함수 221
- 8.1.3 벡터 인수 벡터 함수 221 / 8.1.4 스칼라 인수 행렬 함수 222
- 8.1.5 행렬 인수 스칼라 함수 223
- 8.2 항등식 224
- 8.2.1 벡터 인수 스칼라 함수 관련 항등식 224
- 8.2.2 스칼라 인수 벡터 함수 관련 항등식 226
- 8.2.3 벡터 인수 벡터 함수 관련 항등식 227
- 8.2.4 행렬 인수 스칼라 함수 관련 항등식 228
- 8.3 야코비 행렬과 헤세 행렬 230
- 8.3.1 야코비 행렬 231 / 8.3.2 헤세 행렬 238
- 8.4 행렬 미분 예제 몇 가지 245
- 8.4.1 성분별 연산의 도함수 245 / 8.4.2 활성화 함수의 도함수 246
- 8.5 요약 248
CHAPTER 9 신경망의 데이터 흐름 249
- 9.1 데이터 표현 250
- 9.1.1 전통적인 신경망 250 / 9.1.2 심층 합성곱 신경망 251
- 9.2 전통적인 신경망의 데이터 흐름 254
- 9.3 합성곱 신경망의 데이터 흐름 259
- 9.3.1 합성곱 259 / 9.3.2 합성곱 층 265 / 9.3.3 풀링 층 268
- 9.3.4 완전 연결층 269 / 9.3.5 합성곱 신경망의 데이터 흐름 269
- 9.4 요약 272
CHAPTER 10 역전파 275
- 10.1 역전파란 무엇인가? 276
- 10.2 직접 계산해 보는 역전파 277
- 10.2.1 편미분 유도 279 / 10.2.2 파이썬 구현 281
- 10.2.3 신경망 모형의 훈련과 시험 286
- 10.3 완전 연결 신경망의 역전파 288
- 10.3.1 오차의 역전파 288 / 10.3.2 가중치와 치우침 값의 편미분 계산 292
- 10.3.3 파이썬 구현 294 / 10.3.4 구현 적용 299
- 10.4 계산 그래프 302
- 10.5 요약 305
CHAPTER 11 경사하강법 307
- 11.1 기본 개념 308
- 11.1.1 1차원 경사하강법 308 / 11.1.2 2차원 경사하강법 312
- 11.2 확률적 경사하강법 318
- 11.3 운동량 321
- 11.3.1 운동량이란? 321 / 11.3.2 운동량을 도입한 1차원 경사하강법 323
- 11.3.3 운동량을 도입한 2차원 경사하강법 325
- 11.3.4 운동량을 이용한 신경망 학습 326 / 11.3.5 네스테로프 운동량 333
- 11.4 적응적 경사하강법 336
- 11.4.1 RMSprop 336 / 11.4.2 AdaGrad와 ADADELTA 337
- 11.4.3 Adam 338 / 11.4.4 최적화 기법에 관한 몇 가지 생각 340
- 11.5 요약 341
- 11.6 맺음말 342
부록: 더 나아가기 343
확률과 통계 343
선형대수 344
미적분 345
심층학습 345
책 속으로
이것이 확률에 대한 베이즈식 접근 방식 또는 ‘베이즈 확률론’의 핵심인 베이즈 정리(Bayes’ theorem)이자, 두 조건부 확률 P(B|A)와 P(A|B)를 제대로 비교하는 방법이다. 식 3.1을 베이즈 법칙(Bayes’ rule)이라고 부르는 경우도 많다. 또한, 영어의 경우 어포스트로피를 생략해서 ‘Bayes theorem’이라고 표기하기도 한다. 다소 엉성하고 문법에도 맞지 않지만, 이런 표기를 흔히 볼 수 있다. 식 3.1을 신성시해서 네온등이나 문신에 사용하기도 하고, 심지어 아기 이름을 ‘베이즈’로 붙이는 부모도 있다. 이 정리는 영국 총리이자 통계학자였던 토머스 베이즈Thomas Bayes(1701-1761)의 이름을 딴 것이다. --- p.66
선형대수학은 일차방정식(linear equation), 즉 변수의 가장 높은 차수가 1인 방정식에 관한 것이다. 그러나 이 책의 목적에서 선형대수(linear algebra)는 벡터나 행렬 같은 다차원 수학객체들과 그런 객체들에 대한 연산을 포괄하는 용어이다. 일반적으로 심층학습에 적용되는 선형대수가 바로 그런 형태이다. 심층학습 알고리즘을 구현하는 프로그램은 데이터를 벡터나 행렬 같은 객체들로 취급해서 선형대수를 적용한다. 글자 그대로의 선형대수가 아니라 실제 응용의 관점에서 본 선형대수를 다루다 보면 멋진 수학 개념을 상당히 많이 생략하게 되지만, 이 책의 목표는 수학 자체가 아니라 심층학습에 적용되는 수학을 이해하는 것이므로, 이렇게 해도 큰 죄는 아닐 것이다. --- p.115
정방행렬의 행렬식을 구하는 방법은 여러 가지인데, 여기서는 점화식을 이용한 방법 하나만 설명한다. 모든 점화식(recursive formula)은 자기 자신이 식에 포함된 수학 공식으로, 코드로 치면 자기 자신을 호출하는 재귀 함수에 해당한다. 점화식과 재귀 함수에 깔린 개념은, 주어진 문제를 더 단순한 버전들로 분해하고 그 결과들을 결합함으로써 더 큰 원래 문제의 해답을 얻는다는 것이다. --- p.152
2022년 현재, 역전파(backpropagation)는 심층학습을 지탱하는 사실상 표준의 알고리즘이다. 역전파가 없으면 심층 신경망의 훈련이 아예 불가능하거나, 가능하더라도 훈련에 걸리는 시간이 비현실적으로 길어진다. 따라서 심층학습 실무자는 역전파가 무엇이고 훈련 과정에서 어떻게 쓰이는지 알아야 하며, 그러려면 적어도 간단한 신경망에 대해 역전파를 직접 구현해 보는 것이 좋다. 이번 장에서는 독자가 역전파에 관한 사전 지식이 전혀 없다고 가정한다. 이번 장은 먼저 역전파가 무엇인지, 그리고 무엇이 “아닌지” 설명한다. 그런 다음에는 아주 간단한 신경망의 역전파와 관련한 수학을 소개한다. 그 후에는 완전 연결 순방향 신경망의 구축에 적합한 역전파를 행렬 형태로 서술하는 방법을 논의한다. 수학 공식들과 함께 NumPy 기반 구현 코드도 제시할 것이다. --- p.275
이 책은 수학책이지만, 경사하강법은 수학 중에서도 응용수학과 관련이 깊다. 그래서 이번 장은 예제와 실험을 통해서 경사하강법을 설명한다. 수식들은 그리 복잡하지 않으며, 이전 장들에 나온 수학을 바탕으로 한다. 그런 만큼, 이번 장을 지금까지 배운 것들을 응용할 기회로 생각하면 좋겠다. --- p.307
출판사 리뷰
확률, 통계, 선형대수, 미분, 행렬로 역전파, 경사하강법 제대로 정복하기 심층학습의 위력을 제대로 이해하려면 심층학습의 기본이 되는 수학 개념을 확실히 파악해야 한다. 이 책은 심층학습을 이해하는 데 꼭 필요한 확률, 통계, 선형대수, 미분에 관한 실무 지식을 제공하며, 각 수학 분야의 개념에 대해 실행가능한 파이썬 예제 코드로 설명한다.
이 책에서 다루는 검증 가능한 예제들은 순수 수학과 심층학습 응용의 틈새를 메우는 역할을 한다. 벡터와 행렬, 확률 분포 등의 근본적인 주제를 설명한 뒤에 행렬 미분과 같은 좀 더 심화한 개념으로 나아가며, 마지막에는 모든 논의를 통합해서 심층학습의 필수 알고리즘인 역전파와 경사하강법을 다룬다.
- 확률 법칙들과 확률분포, 베이즈 확률
- 통계를 이용해서 데이터 집합을 파악하고 모형을 평가하는 방법
- 벡터와 행렬을 다루는 방법과 데이터가 벡터와 행렬의 형태로 신경망을 통과하는 과정
- 선형대수를 이용한 주성분 분석(PCA)과 특잇값 분해(SVD) 구현
- 역전파, 경사하강법, 여러 최적화 기법(SGD, Adam, RMSprop, Adagrad/Adadelta)
Comments