기계학습과 딥러닝 알고리즘, 텍스트 분석을 이 책 한 권으로 끝내자!

기계학습과 딥러닝 알고리즘을 이용해서 텍스트 분석을 잘하기 위해서는 알고리즘의 작동원리를 정확히 이해하는 것이 중요합니다. 이 책은 텍스트 분석 실습뿐 아니라, 텍스트 분석에서 중요한 역할을 하는 기계학습과 딥러닝 알고리즘의 작동 원리를 자세히 설명합니다. 알고리즘의 이해를 돕기 위해, 알고리즘을 이해하는 데 필요한 수학 개념(벡터, 행렬, 확률 등)에 관한 설명도 제공합니다. 텍스트 분석이나 코딩 경험이 없는 독자도 쉽게 접할 수 있도록, 파이썬 기초와 텍스트 분석의 기초, 텍스트 분석을 하는 데 필요한 기본적인 내용(웹스크레이핑, 정규표현식 등)에 관해서도 부록에서 다룹니다.

연세대학교 언론홍보영상학부 부교수이며 연세대학교 인공지능대학의 겸임 교수로 활동하고 있다. 파이썬 코딩, 빅데이터 통계 분석, 기계학습, 딥러닝, 텍스트 마이닝 등의 수업을 진행하며, 컴퓨테이셔널 미디어 랩을 운영하면서 사회현상과 관련된 온라인 비정형 데이터를 통계 방법과 기계학습?딥러닝 알고리즘을 이용해 분석하는 연구를 수행하고 있다. 연세대학교에서 컴퓨터 과학을 공부했고, 미시간 주립대에서 미디어?정보 전공으로 석사와 박사 학위를 받았다.

[3부] 딥러닝을 이용한 텍스트 분석

13장: 딥러닝 소개

13.1 신경망
___13.1.1 신경망 소개
___13.1.2 신경망의 작동 원리
13.2 활성화 함수
___13.2.1 시그모이드 함수
___13.2.2 하이퍼볼릭 탄젠트 함수
___13.2.3 ReLU 함수
___13.2.4 Leaky ReLU 함수
___13.2.5 ELU 함수
___13.2.6 소프트플러스 함수
___13.2.7 GELU 함수
13.3 경사하강법
___13.3.1 사용되는 관측치의 수에 따른 경사하강법 구분
___13.3.2 신경망에서의 경사하강법 작동 원리
___13.3.3 오차 역전파
___13.3.4 경사 소실 문제
___13.3.5 경사 폭발 문제
___13.3.6 옵티마이저의 종류
___13.3.7 가중치 감쇠와 학습률 감쇠
13.4 가중치 초기화
___13.4.1 Xavier 초기화 방법
___13.4.2 He 초기화 방법
13.5 예제: 도시의 평균 집값 예측하기
___13.5.1 SGD 옵티마이저의 사용 예
___13.5.2 RMSprop 옵티마이저 사용의 예
___13.5.3 Adam 옵티마이저의 사용 예
13.6 신경망에서의 과적합 해결 방법
___13.6.1 L1/L2 규제화
___13.6.2 드롭아웃
___13.6.3 조기 종료
___13.6.4 배치 정규화
___13.6.5 계층 정규화

14장: FNN을 이용한 텍스트 분석과 단어 및 문서 임베딩

14.1 FNN을 이용한 텍스트 분석
14.2 단어 임베딩
___14.2.1 원-핫 벡터와 단어 임베딩
___14.2.2 Word2vec
___14.2.3 FastText
14.3 문서 임베딩
___14.3.1 Doc2vec

15장: CNN을 이용한 텍스트 분석

15.1 CNN
___15.1.1 CNN 소개
___15.1.2 파이썬 코딩하기
15.2 CNN을 이용한 텍스트 분석
___15.2.1 CNN에서의 문서 표현
___15.2.2 파이썬 코딩하기

16장: 순환신경망 기반 알고리즘을 이용한 텍스트 분석

16.1 RNN
___16.1.1 RNN 소개
___16.1.2 RNN을 이용한 감성분석
___16.1.3 각 단어의 은닉 상태 벡터를 모두 사용하기
___16.1.4 여러 개의 RNN 층 사용하기
16.2 LSTM
___16.2.1 LSTM 소개
___16.2.2 LSTM을 이용한 감성분석
___16.2.3 양방향 LSTM
___16.2.4 양방향 LSTM을 사용한 감성분석
16.3 seq2seq

17장: 트랜스포머

17.1 어텐션 알고리즘
17.2 셀프 어텐션
17.3 트랜스포머에서의 어텐션
17.4 트랜스포머 소개
___17.4.1 트랜스포머의 구조
___17.4.2 인코더 부분
___17.4.3 디코더 부분
___17.4.4 트랜스포머의 인코더 블록을 이용한 감성분석

18장: BERT

18.1 BERT의 구조
___18.1.1 BERT 내부 구조
___18.1.2 BERT 학습
___18.1.3 BERT 논문에서 사용된 다운스트림 작업
___18.1.4 BERT를 이용한 각 단어의 벡터 추출하기
18.2 파이썬 코딩하기
___18.2.1 BERT를 사용한 단어와 문장/문서의 벡터 추출하기
___18.2.2 영어 텍스트 감성분석
___18.2.3 한글 텍스트 감성분석

19장: BERT 기반 방법들

19.1 ALBERT
___19.1.1 ALBERT 소개
___19.1.2 파이썬 코딩하기
19.2 RoBERTa
___19.2.1 RoBERTa 소개
___19.2.2 파이썬 코딩하기
19.3 ELECTRA
___19.3.1 ELECTRA 소개
___19.3.2 파이썬 코딩하기
19.4 지식 증류 기반 방법들
___19.4.1 지식 증류
___19.4.2 DistilBERT
___19.4.3 TinyBERT
19.5 BERTopic
___19.5.1 문서 임베딩
___19.5.2 문서 군집화
___19.5.3 각 군집(토픽)을 나타내는 단어 찾기
___19.5.4 파이썬 코딩하기

20장: GPT 모형들

20.1 GPT-1
___20.1.1 GPT-1에서의 학습
20.2 GPT-2
___20.2.1 학습 데이터
___20.2.2 모형의 구조
___20.2.3 모형의 성능
___20.2.4 파이썬 코딩하기
20.3 GPT-3
___20.3.1 제로샷, 원샷, 퓨샷
___20.3.2 학습 데이터
___20.3.3 모형의 구조
___20.3.4 모형의 성능
___20.3.5 GPT-3 미세조정하기
20.4 InstructGPT
___20.4.1 InstructGPT에서의 미세 조정
___20.4.2 모형의 성능
20.5 ChatGPT

21장: 비전 트랜스포머를 이용한 텍스트 분석

21.1 ViT 소개
21.2 ViT를 이용한 이미지 분류
21.3 ViT를 이용한 텍스트 분류
___21.3.1 방법 1: N×D 문서에서 직접 패치를 추출
___21.3.2 방법 2: 문서를 패치로 분할하기 전에 Conv1D 필터 적용하기
___21.3.3 방법 3: N×C 결과물에서 C×C 패치 추출하기

22장: 오토인코더를 이용한 텍스트 분석

22.1 오토인코더 소개
22.2 오토인코더를 MNIST 데이터에 적용해 보기
22.3 오토인코더를 이용해 문서를 저차원 벡터로 표현하기
___22.3.1 LSTM 기반 오토인코더 사용해 보기
___22.3.2 CNN 기반 오토인코더 사용해 보기

부록A: 경사하강법에서의 순전파와 역전파
A.1 예제 신경망 모형
A.2 순전파
A.3 역전파