김기현의 딥러닝 부트캠프 WITH 파이토치

어떻게 딥러닝 학습을 시작해야 할지 모르는 딥린이를 위한 입문 교과서

이 책은 개념, 수식, 실습으로 이어지는 최적의 딥러닝 학습 커리큘럼을 통해 딥러닝에 대한 기본기를 탄탄하게 키워줍니다.

★ 이 책에서 배우는 내용

 개발 환경

 딥러닝의 개념

 파이토치 튜토리얼

 선형 계층

 손실 함수

 경사하강법

 선형 회귀

 로지스틱 회귀

 심층신경망

 확률적 경사하강법

 최적화

 오버피팅 방지

 심층신경망으로 분류 문제 해결

 정규화

 표현 학습

 확률론적 관점

 CNN(합성곱신경망)

 RNN(순환신경망)

★ 이 책의 구성

딥러닝 개념 및 이론 설명

딥러닝의 기초 개념을 최대한 쉽게 이해할 수 있도록 수학적 표현을 최소화하고 그림 또는 시각화를 활용하여 설명합니다. 기초부터 심화 단계까지 차근차근 접근할 수 있도록 구성했으며 딥러닝의 여러 진행 방식에 대해 원리와 구조를 조금 더 쉽게 체득할 수 있습니다.

수식 정리

딥러닝을 제대로 공부하기 위해서 수학적 배경지식은 반드시 필요합니다. 딥러닝의 기초 개념 및 이론을 수식을 통해 다시 한번 정리합니다.

실습 코드

앞에서 배운 이론과 수식을 파이토치로 어떻게 구현하는지에 대해 익힐 수 있습니다. 이 책의 실습은 GPU 없이 실행이 가능합니다. GPU가 있다면 훨씬 더 빠르게 실행할 수 있지만, GPU 없이도 최대 몇십 분 이내로 실행이 완료되도록 구성되어 있습니다.

실무 환경에서의 실전 같은 프로젝트 연습

단순히 주피터 노트북으로 하는 실습이 아닌 실제 머신러닝 프로젝트를 진행하듯이 파일을 구성하고 CLI 환경에서의 실습을 진행합니다. 단순히 MNIST 분류기를 만들고 끝내는 것이 아니라 실전처럼 MNIST 분류기 성능을 끌어 올리는 방법과 이를 위한 실험 환경 구축 방법에 대해 알아봅니다.

★ 대상 독자

이 책은 딥러닝을 처음 접하는 독자 또는 딥러닝을 어느 정도 알고 있지만 기초가 부족한 독자를 대상으로 합니다.

★ 예제 소스

https://github.com/kh-kim/deep_learning_book_exercise

김기현

미국 스토니브룩 대학교에서 컴퓨터공학 학사 및 석사 학위를 받았다. 이후 2011년부터 한국전자통신연구원에서 자연어 처리 연구 개발을 시작했고, 현재는 SK텔레콤에서 초거대 언어 모델 GPT3를 활용한 개인화 챗봇과 지식 대화 모델링을 연구 개발 및 상용화하고 있다. 또한 2018년부터 패스트캠퍼스에서 자연어 처리 및 파이토치 강의를 하고 있다. 저서로 『소문난 명강의 : 김기현의 자연어 처리 딥러닝 캠프』(한빛미디어, 2019)가 있다.

1장 개발 환경 구축하기

1.1 아나콘다 설치하기

1.2 VS Code 설치 및 환경 설정

1.3 마치며

2장 딥러닝 소개

2.1 딥러닝이란?

2.2 좋은 인공지능이란?

2.3 머신러닝 프로젝트 워크플로

2.4 수학 용어 설명

2.5 마치며

3장 파이토치 튜토리얼

3.1 왜 파이토치인가?

3.2 (실습) 파이토치 설치

3.3 텐서란?

3.4 (실습) 기본 연산

3.5 (실습) 텐서 형태 변환

3.6 (실습) 텐서 자르기 & 붙이기

3.7 (실습) 유용한 함수들

4장 선형 계층

4.1 행렬 곱

4.2 (실습) 행렬 곱

4.3 선형 계층

4.4 (실습) 선형 계층

4.5 (실습) GPU 사용하기

4.6 마치며

5장 손실 함수

5.1 평균 제곱 오차

5.2 (실습) MSE Loss

5.3 마치며

6장 경사하강법

6.1 미분이란?

6.2 편미분

6.3 경사하강법

6.4 학습률에 따른 성질

6.5 (실습) 경사하강법 구현

6.6 (실습) 파이토치 오토그래드 소개

6.7 마치며

7장 선형 회귀

7.1 선형 회귀란?

7.2 선형 회귀의 수식

7.3 (실습) 선형 회귀

7.4 마치며

8장 로지스틱 회귀

8.1 활성 함수

8.2 로지스틱 회귀란?

8.3 로지스틱 회귀의 손실함수

8.4 로지스틱 회귀의 수식

8.5 (실습) 로지스틱 회귀

8.6 마치며

9장 심층신경망 I

9.1 심층신경망

9.2 심층신경망의 학습

9.3 역전파 알고리즘의 수식

9.4 그래디언트 소실 문제

9.5 렐루

9.6 (실습) Deep Regression

9.7 마치며

10장 확률적 경사하강법

10.1 확률적 경사하강법이란?

10.2 SGD의 직관적 이해

10.3 미니배치 크기에 따른 SGD

10.4 (실습) SGD 적용하기

10.5 마치며

11장 최적화

11.1 하이퍼파라미터란?

11.2 팁 : 효율적인 연구/개발 진행 방법

11.3 적응형 학습률

11.4 적응형 학습률의 수식

11.5 (실습) 아담 옵티마이저 적용하기

11.6 마치며

12장 오버피팅을 방지하는 방법

12.1 모델 평가하기

12.2 오버피팅이란?

12.3 테스트셋 구성하기

12.4 (실습) 데이터 나누기

12.5 마치며

13장 심층신경망 II

13.1 이진 분류

13.2 평가 지표

13.3 (실습) Deep Binary Classification

13.4 심층신경망을 활용한 분류

13.5 소프트맥스 함수와 교차 엔트로피 손실 함수

13.6 다중 클래스 분류 결과 분석하기

13.7 (실습) Deep Classification

13.8 마치며

14장 정규화

14.1 정규화의 개요

14.2 가중치 감쇠

14.3 데이터 증강

14.4 드롭아웃

14.5 배치정규화

14.6 (실습) 정규화

14.7 마치며

15장 실무 환경에서의 프로젝트 연습

15.1 실무를 진행하듯 실습하기

15.2 워크플로 리뷰

15.3 실습 소개

15.4 (실습) 분류기 모델 구현하기

15.5 (실습) 데이터 로딩 구현하기

15.6 (실습) 트레이너 클래스 구현하기

15.7 (실습) train.py 구현하기

15.8 (실습) predict.ipynb 구현하기

15.9 마치며

16장 표현 학습

16.1 특징(feature)이란?

16.2 원 핫 인코딩

16.3 차원 축소

16.4 오토인코더

16.5 마치며

17장 확률론적 관점

17.1 들어가며

17.2 기본 확률 통계

17.3 MLE(Maximum Likelihood Estimation)

17.4 신경망과 MLE

17.5 수식: MLE

17.6 MSE 손실 함수와 MLE

18장 CNN(합성곱신경망)

18.1 전통적인 방식

18.2 합성곱 연산

18.3 패턴 추출의 원리

18.4 맥스 풀링과 스트라이드 기법

18.5 합성곱신경망 설계 예제

18.6 (실습) CNN으로 MNIST 분류 구현하기

18.7 마치며

19장 RNN(순환신경망)

19.1 순환신경망 소개

19.2 RNN 한 걸음씩 들여다보기

19.3 순환신경망 활용 사례

19.4 LSTM

19.5 그래디언트 클리핑

19.6 (실습) LSTM으로 MNIST 분류 구현하기

19.7 마치며