MLM블로그 Crash Course in Recurrent Neural Networks for Deep Learning-1

정지홍 2023. 3. 4. 22:57

Crash Course in Recurrent Neural Networks for Deep Learning - MachineLearningMastery.com

또 다른 타입의 신경망은 시퀀스 입력 관련 문제를 포함한 어려운 머신러닝 문제를 지배하고 있다. : RNN

최근 신경망은 루프같은 커넥션을 가지고 있다, 루프는 피드백과 시간이 지남에 따른 기억들을 추가하는. 이 기억으로 이러한 유형의 네트워크는 개별 패턴이 아니라 입력 시퀀스를 일반화하고 학습을 한다.

이 강력한 타입의 RNN을 LSTM이라고 불리며 이것은 깊은 구성으로 쌓여 있을때 특히 효율적으로 보여준다, 언어번역부터 이미지자동 캡션까지에서 최점단 결과를 달성한다.

이 포스트에서, 배우게 될 것들

RNN에서 해결되는 다층 퍼셉트론의 한계
RNN을 유용하게 하기 위해서 반드새 해결해야할 문제
LSTM에서 적용되는 디테일

신경망에서 시퀀스의 지원

몇몇 문제 종류들은 가장 좋게 프레임된다, 입력이나 출력 시퀀스를 포함하여.

예를 들어서, 일변량 시계열 문제를 고려하면, 주가 같이 시간에 따라변하는 데이터. 이 데이터 셋은 프레임 될 수 있다, 전통적인 순전파 다츨 페셉트론같은 예측문제에서. 창크기를 정의하고 네트워크를 훈련시킨다, 고정된 사이즈의 입력으로부터 예측하는 방법을 배운는 훈련을.

이것은 제한적으로 작동한다. 그 입력 윈도우는 문제의 메모리를 더한다, 그러나 특징의 숫자가 고정되어 있으며 충분한 문제의 지식이 선택되어야만 한다. 일변량 시계열 예측은 중요하다. 그러나 여기에는 시퀀스를 포함한 여러 더 흥미로운 문제들이 있다.

입력에서 출력을 맵핑해야하는 시퀀스 문제의 분류법을 고려하자.

One-to-Many:이미지 캡션에 대한 시퀀스 출력
Many-to-One:감정 분류에 대한 시퀀스 입력
Many-to-Many: 기계 번역을 위한 시퀀스 입출력
Synched Many-to-Many: 비디오 분류를 위한 싱크된 시퀀스 입출력

너는 또한 이미지 분류 예측 작업같은 전통적인 순전파 네트워크를 일대일 입출력을 볼 수 있다. 신경망에서 시퀀스에 대한 지원을 중요한 문제이며 최근에 딥러닝이 인상적인 결과를 보여주고 있다. 최첨단 결과는 RNN이라고 불리는 시퀀스 문제를 해결하는데 특히 사용되고 있다.