AI (12) 썸네일형 리스트형 Transformer - Encoder(어텐션 메커니즘) 본 내용은 참고 자료에 있는 블로그가 내용이 너무 좋아서, 해당 블로그 내용을 바탕으로 번역하면서 작성하였음을 밝힙니다. Paper Attention is all you need https://arxiv.org/pdf/1706.03762.pdf Vocab size 단어장 크기는 unique word의 수로 결정된다. N을 구하기 위해서 단어를 하나하나 토큰화해야 한다. Encoding unique word에 고유의 index 수를 할당해야 한다. 결과 Word to index index to wor Calculating Embedding 한 문장을 이루는 토큰이 input sequence로 들어갔다고 한다면, 토큰을 벡터로 embedding 해야 한다. 논문에서는 각 토큰 당 512 dimenstiona.. 머신러닝 요약(ML Summary) 머신러닝 개요 머신러닝 (Machine Learning): 컴퓨터가 데이터로부터 학습하고 패턴을 찾아 예측하거나 결정을 내리는 기술. 지도학습 (Supervised Learning): 입력과 출력 간의 대응을 학습하여 예측 모델을 생성. 비지도 학습 (Unsupervised Learning): 레이블 없는 데이터의 구조나 패턴을 찾는 학습. 강화학습 (Reinforcement Learning): 에이전트가 환경과 상호작용하여 보상을 최대화하도록 학습. 2. 주요 알고리즘: 선형 회귀 (Linear Regression): 종속 변수와 독립 변수 간의 선형 관계를 모델링. 로지스틱 회귀 (Logistic Regression): 이진 분류 문제에 사용되는 알고리즘. 결정 트리 (Decision Tree): 데.. 분류 모델의 종류(classification model) 로지스틱 회귀 (Logistic Regression) 개념: 선형 결정 경계를 통해 이진 분류를 수행하는 모델. 목적: 데이터의 특성을 학습하여 새로운 데이터를 분류. 원리: 선형 결정 경계를 찾아내기 위해 최적의 가중치 학습. 필요한 함수: 시그모이드 함수, 손실 함수 (로지스틱 손실), 경사 하강법 등. 장점: 단순하고 해석이 쉬움, 이진 분류에 효과적. 결정 트리 (Decision Tree) 개념: 데이터의 특성에 따라 결정 경로를 나눠가며 분류 또는 회귀하는 모델. 목적: 데이터의 특성을 기반으로 예측 및 분류. 원리: 데이터를 최적으로 나눌 수 있는 특성을 선택해 결정 경로를 생성. 필요한 함수: 분할 기준 (불순도, 지니 계수 등). 장점: 해석력이 높음, 다양한 데이터 타입에 적용 가능. 랜.. Train Once, Test Anywhere : Zero-Shot Learning for Text Classification 지도학습과 비지도 학습 등 최근에는 다양한 인공지능 학습 방법에 대한 연구가 이뤄지고 있다. 그중에서도 Zero shot learning이라는 학습 방법에 대해 궁금해서 관련 논문으로 개념을 알아보려 한다. Train Once, Test Anywhere - Zero-Shot Learning for Text Classification Zero shot Learning - zero-shot learning은 훈련하는 동안 훈련하지 않은 class에 대해서 추적할 수 있는 능력이다. - 정확한 감독(explicit supervised) 없이 새로운 것에 대해서 생성하고 인식할 수 있는 능력을 학습한다. - 예를 들어, transfer learning은 각 class 데이터 세트에 대해서 모델에 fine tun.. 이전 1 2 다음
