8장 그 밖의 딥러닝 기술

순환 신경망RNN이란?

-시간이 변화하는 데이터, 즉 시계열 데이터를 입력값으로 사용 가능

-음성,문장,동영상 등을 다룰때 사용

-은닉층이 순환하는 구조이다.

-RNN에서는 주로 전결합층만을 사용한다.

-은닉층은 이전 시점의 은닉층에게 영향을 받으며 이를 위해서 이전 시점의 정보를 보존한다.

-시계열 형태의 심층 신경망 구조여서 몇 개의 층에 걸쳐서 오차를 전파시키면 기울기 소실 or 발산 문제 발생.

-반복하여 같은 가중치를 곱해서 단기 기억은 유지하나 장기 기억은 유지 못하는 장기 의존성 문제 발생.

 

LSTM이란?

-RNN의 장기 의존성 문제를 극복하기 위한 것

-장기 기억, 단기 기억 모두 유지 가능

-gate라는 구조를 이용하여 과거의 정보중 필요한 것들만 기억한다.

-기억셀:하나 전 단계의 데이터 유지

-입력 게이트:하나 전 단계로부터 입력을 수용할지 결정

-출력 게이트:과거의 출력을 입력으로 피드백

-망각 게이트:기억 셀의 내용을 리셋한다.

-위의 입력,망각 게이트를 통합하고 출력게이트 기억셀을 제거하여 LSTM을 개선한 GRU도 있다.

 

자연어처리NLP란?

-사람들이 사용하는 자연어들을 컴퓨터가 처리하는 것

-형태소 분석:자연어를 형태소 단위까지 분석하는 것

-단어 임베딩:단어들을 신경망으로 처리하기 위해서 단어 데이터들을 벡터 데이터들로 변환시키는 것

 

생성적 적대 신경망GAN이란?

-생성자 네트워크와 식별자 네트워크가 서로 경쟁하며 학습하는 것

 

강화학습이란?

-딥러닝과 다르게 정답이 없다. 하지만 행동의 결과가 바람직하면 보상을 준다.