[혼공단 11기] 혼공머신 7주차

개념 정리

 

ch8

 

합성곱: 커널을 사용하는 층을 말한다. 입력과 출력의 크기를 같게 만들기 위해 패딩을 사용한다. 또한 패딩을 사용하면 각 피처의 값들이  일정하게 전달될 수 있다. 커널을 사용할때 차례대로 이동하는데, 이때 이동의 크기를 스트라이드라고 한다. 풀링은 합성곱 층에서 만든 특성 맵의 개수는 줄이지 않고 가로세로 크기만 줄이는 걸 말한다. 풀링과 커널은 다르다. 풀링은 가중치도 없고, 겹치지 않게 이동히며 축소시킨다. 합성곱의 스트라이드를 사용해서 특성 맵을 줄일 수도 있는데 풀링을 사용하는 이유는? 경험적으로 더 나은 성능을 내기 때문이다.

 

ch9

순차 데이터란 순서에 의미가 있는 데이터를 말하고, 이 순차 데이터에 잘 맞는 인공 신경망 중 하나가 순환 신경망이다. 앞에서 배운 모델들은 FFNN이라고 연산 결과를 출력층(앞으로)만 보내지만 RNN은 연산결과를 자신에게 다시 보내 연산에 사용한다. 이는 이전 연산 결과를 다시 사용하는거니 메모리를 사용한다고 할 수도 있다. 이 순환층을 셀이라 부르며, 셀의 출력을 은닉 상태라한다. 

말뭉치는 자연어 처리에서 사용하는 텍스트 데이터셋을 말하고, 토큰은 텍스트에서 공백으로 구분되는 문자열을 말한다. 한글의 토큰은 방식이 다르다고 한다. 단어 임베딩은 토큰을 더 잘 나타내기 위해 작은 실수 밀집 벡터로 변환한 것을 말한다. 

LSTM과 GRU는 효과적인 순환층 중 일부이다. RNN 모델은 깊어질 수록 성능이 좋아지는 경향이 있는데 엄청 깊어지면 맨앞에서 학습한 데이터가 잘 전달되지 않는다. 그래서 나온게  LSTM이다. 그래서 앞에서 학습한것을 입력(이번에 들어온 데이터를 얼마나 사용할지), 삭제(지난 데이터를 얼마나 삭제할지), 출력(이번 데이터를 얼마나 내보낼지: 순환층에 보내는걸 말하는듯) 게이트를 사용해서 다시 학습하는 구조이다. 그리고 이 LSTM을 간략화 시킨게 GRU 모델이다. 

 

 

 

 

​

회고

혼공단은 6주 커리큘럼이지만 교재의 챕터가 9까지 남아있어서 남은 부분은 개인적으로 공부했다. 차라리 머신러닝과 딥러닝으로 나눠서 6주차로 만들면 더 좋았을 것 같다. 혼공단 9기를 했을때와 비교해서, 확실히 인공지능이 더 어려운 것 같다. 전공 수업을 들어서 어느정도 알고 있는 내용이었음에도 9기(혼공컴운)에 비하면 어려웠다. 하지만 새롭게 배운 점도 많았고, 실습을 하면서 직접 확인해 볼 수 있어서 좋았다. 나머지 부분이 챕터 8, 9는 따로 공부하면서 개념만 정리했는데도 많은 도움이 되었다. 쉬운 개념부터 차례대로 배우니 전체적인 흐름을 알 수 있어서 좋았다.