[ 딥러닝 ] RNN 기초

1. 순환 신경망(Recurrent Neural Network)

• 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델
• 시퀀스 : 번역하고자 하는 단어의 문장
• 연속적인 데이터를 NN에 하나씩 순차적으로 넣어 처리하는 모델

1-1. RNN 동작 방식

• 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 다시 출력층 방향으로 보내면서 은닉층 노드의 다음 계산의 입력으로 보내는 특징
• 셀(cell): 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드, 이전의 값을 기억하려고 하는 일종의 메모리 역할을 수행
• 은닉 상태( hidden state): 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값

1-2. RNN의 유형

• One to Many
• Many to One
• Many to Many

1-3. RNN의 단점

• 입력과 출력이 고정
• 기울기 소실
• 단점을 극복하기 위해 RNN의 발전 형태인 LSTM과 GRU를 사용(문제를 완벽히 해결하지 못함)