Ai (2) 썸네일형 리스트형 Recurrent Neural Network 분포 가설과 분산 표현 Embedding Recurrent layer RNN LSTM 자연어 처리의 큰 흐름 RNN 순차적인 데이터 처리에 적합한 모델 장기 의존성 문제 기울기 소실 문제 LSTM 등장 RNN 한계 극복 기억 문제 개선 장기 의존성 처리 능력 계산 비용이 많이 든다 병렬 처리가 어렵다 GNU 등장 LSTM보다 더 간단한 구조로 복잡성이 줄어든다 Transformer self-Attention 메커니즘 병렬 처리 가능 RNN과 LSTM 단점을 극복 시퀀스에 대한 장기 의존성을 처리 분포 가설과 분산 Sparse representation 벡터의 특정 차원에 단어 혹은 의미를 직접 매핑하는 방식 해당 데이터에서 실제로 중요한 정보가 있는 일부 요소만을 표현하고 나머지 요소는 0으로 표현하는 .. Train Once, Test Anywhere : Zero-Shot Learning for Text Classification 지도학습과 비지도 학습 등 최근에는 다양한 인공지능 학습 방법에 대한 연구가 이뤄지고 있다. 그중에서도 Zero shot learning이라는 학습 방법에 대해 궁금해서 관련 논문으로 개념을 알아보려 한다. Train Once, Test Anywhere - Zero-Shot Learning for Text Classification Zero shot Learning - zero-shot learning은 훈련하는 동안 훈련하지 않은 class에 대해서 추적할 수 있는 능력이다. - 정확한 감독(explicit supervised) 없이 새로운 것에 대해서 생성하고 인식할 수 있는 능력을 학습한다. - 예를 들어, transfer learning은 각 class 데이터 세트에 대해서 모델에 fine tun.. 이전 1 다음
