밑바닥부터 시작하는 딥러닝 2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 -

직접 구현하면서 배우는 본격 딥러닝 입문서

이번에는 순환 신경망과 자연어 처리다!

이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데이터 처리에 사용하는 딥러닝 기술에 초점을 맞춰 살펴본다. 8장 구성으로 전체를 하나의 이야기처럼 순서대로 읽도록 꾸몄다. 전편에서 배운 내용을 요약한 신경망 복습을 첫 장에 배치하여 신경망과 파이썬 지식을 어느 정도 갖춘 분이라면 전편을 읽지 않아도 무리 없이 따라올 수 있도록 배려했다.

★ 『밑바닥부터 시작하는 딥러닝』의 명성을 그대로!

이 책은 『밑바닥부터 시작하는 딥러닝』의 속편입니다. 전편에 이어 계속 딥러닝 기술을 다룹니

다. 특히 이번에는 자연어 처리와 시계열 데이터 처리에 초점을 맞춰 딥러닝을 사용해 다양한

문제에 도전합니다. 그리고 전편과 똑같이 '밑바닥부터 만든다'는 기치 아래, 딥러닝을 활용한

고급 기술들을 차분히 만끽해갈 것입니다.

★ 자연어 처리와 시계열 데이터 처리에 초점을 맞춰!

이 책에서는 자연어 처리와 시계열 데이터 처리에 초점을 맞춰 딥러닝에서 중요한 기술들을 배웁니다. 구체적으로는 word2vec과 RNN, LSTM과 GRU, seq2seq와 어텐션 같은 기술입니다. 이 책은 이 기술들을 가능한 한 쉬운 말로 설명하고 실제로 만들어보면서 확실한 내 것이 되도록 안내합니다.

★ 이 책에서 다루는 내용

- 외부 라이브러리에 의지하지 않고, 밑바닥부터 딥러닝 프로그램을 구현합니다.

- 『밑바닥부터 시작하는 딥러닝』의 속편으로서 자연어 처리와 시계열 데이터 처리에 사용하는 딥러닝 기술에 초점을 맞춥니다.

- 실제로 동작하는 파이썬 소스 코드와 독자가 직접 실습해볼 수 있는 학습 환경을 제공합니다.

- 가능한 한 쉬운 말로, 명확한 그림을 많이 동원하여 설명합니다.

- 수식도 사용하지만 그 이상으로 소스 코드에 기초한 설명을 중시합니다.

- ' 왜 그 기법이 뛰어난가?', '왜 그 방식이 먹히는가?', '왜 그것이 문제인가?' 등 '왜'를 소중히 합니다. 

지은이 : 사이토 고키 

1984년 나가사키 현 쓰시마 태생. 도쿄공업대학교 공학부를 졸업하고 도쿄대학대학원 학제정보학부 석사 과정을 수료했다. 현재는 기업에서 인공지능 관련 연구·개발에 매진하고 있다. 오라일리재팬에서 『밑바닥부터 시작하는 딥러닝』 시리즈를 집필했으며 『파이썬 인 프랙티스』, 『밑바닥부터 만드는 컴퓨팅 시스템』 등을 일본어로 옮겼다.ㅊ

옮긴이 : 개앞맵시

고려대학교 컴퓨터학과를 졸업하고 삼성전자에서 자바 가상 머신, 바다 플랫폼, 챗온 메신저 서비스 등을 개발했다. 주 업무 외에 분산 빌드, 지속적 통합, 수명주기 관리 도구, 애자일 도입 등 동료 개발자들에게 실질적인 도움을 주는 일에 적극적이었다. 그 후 창업 전선에 뛰어들어 좌충

우돌하다가, 개발자 커뮤니티에 기여하는 더 나은 방법을 찾아 출판 시장에 뛰어들었다.

한빛미디어에서 『밑바닥부터 시작하는 딥러닝』 시리즈, 『리팩터링 2판』, 『Effective Unit Testing』을 번역했고, 인사이트에서 『이펙티브 자바 3판』과 『JUnit 인 액션 2판』을 번역했다.

개발자들과의 소통 창구로 소소하게 facebook.com/dev.loadmap 페이지를 운영 중이다. 

CHAPTER 1 신경망 복습

__1.1 수학과 파이썬 복습

__1.2 신경망의 추론

__1.3 신경망의 학습

__1.4 신경망으로 문제를 풀다

__1.5 계산 고속화

__1.6 정리

CHAPTER 2 자연어와 단어의 분산 표현

__2.1 자연어 처리란

__2.2 시소러스

__2.3 통계 기반 기법

__2.4 통계 기반 기법 개선하기

__2.5 정리

CHAPTER 3 word2vec

__3.1 추론 기반 기법과 신경망

__3.2 단순한 word2vec

__3.3 학습 데이터 준비

__3.4 CBOW 모델 구현

__3.5 word2vec 보충

__3.6 정리

CHAPTER 4 word2vec 속도 개선

__4.1 word2vec 개선 ①

__4.2 word2vec 개선 ②

__4.3 개선판 word2vec 학습

__4.4 word2vec 남은 주제

__4.5 정리

CHAPTER 5 순환 신경망(RNN)

__5.1 확률과 언어 모델

__5.2 RNN이란

__5.3 RNN 구현

__5.4 시계열 데이터 처리 계층 구현

__5.5 RNNLM 학습과 평가

__5.6 정리

CHAPTER 6 게이트가 추가된 RNN

__6.1 RNN의 문제점

__6.2 기울기 소실과 LSTM

__6.3 LSTM 구현

__6.4 LSTM을 사용한 언어 모델

__6.5 RNNLM 추가 개선

__6.6 정리

CHAPTER 7 RNN을 사용한 문장 생성

__7.1 언어 모델을 사용한 문장 생성

__7.2 seq2seq

__7.3 seq2seq 구현

__7.4 seq2seq 개선

__7.5 seq2seq를 이용하는 애플리케이션

__7.6 정리

CHAPTER 8 어텐션

__8.1 어텐션의 구조

__8.2 어텐션을 갖춘 seq2seq 구현

__8.3 어텐션 평가

__8.4 어텐션에 관한 남은 이야기

__8.5 어텐션 응용

__8.6 정리

APPENDIX A 시그모이드 함수와 tanh 함수의 미분

__A.1 시그모이드 함수

__A.2 tanh 함수

__A.3 정리

APPENDIX B WordNet 맛보기

__B.1 NLTK 설치

__B.2 WordNet에서 동의어 얻기

__B.3 WordNet과 단어 네트워크

__B.4 WordNet을 사용한 의미 유사도

APPENDIX C GRU

__C.1 GRU의 인터페이스

__C.2 GRU의 계산 그래프