GPT (3) 썸네일형 리스트형 챗GPT가 불러올 경제 혁명 MIT technology의 기사를 읽고 재미있어서 정리를 해보았습니다. Notes 근 몇 달간 챗GPT(ChatGPT) 같은 생성형AI 모델들로부터 사업 기회를 노리는 이른바 ‘AI 골드러시(AI gold rush)’가 시작됐다. 앱 개발자, 벤처 스타트업, 세계 굴지의 기업을 막론하고 모두가 지난해 11월 오픈AI(OpenAI)가 선보인 화제의 텍스트 생성 봇을 이해하기 위해 노력하고 있다. 지난 10년간 AI와 디지털 기술은 놀라울 정도로 발전했지만, 경제적 번영과 공동의 성장에 기여한 부분은 다소 실망스럽다. 오픈AI는 GPT-4의 매개변수 수를 정확히 밝히지 않지만 추측은 가능하다. GPT-3는 약 1,750억 개의 매개변수를 가지고 있었으며 이는 GPT-2의 약 100배에 달하는 수치였다. 빅.. Transformer - Encoder(어텐션 메커니즘) 본 내용은 참고 자료에 있는 블로그가 내용이 너무 좋아서, 해당 블로그 내용을 바탕으로 번역하면서 작성하였음을 밝힙니다. Paper Attention is all you need https://arxiv.org/pdf/1706.03762.pdf Vocab size 단어장 크기는 unique word의 수로 결정된다. N을 구하기 위해서 단어를 하나하나 토큰화해야 한다. Encoding unique word에 고유의 index 수를 할당해야 한다. 결과 Word to index index to wor Calculating Embedding 한 문장을 이루는 토큰이 input sequence로 들어갔다고 한다면, 토큰을 벡터로 embedding 해야 한다. 논문에서는 각 토큰 당 512 dimenstiona.. Train Once, Test Anywhere : Zero-Shot Learning for Text Classification 지도학습과 비지도 학습 등 최근에는 다양한 인공지능 학습 방법에 대한 연구가 이뤄지고 있다. 그중에서도 Zero shot learning이라는 학습 방법에 대해 궁금해서 관련 논문으로 개념을 알아보려 한다. Train Once, Test Anywhere - Zero-Shot Learning for Text Classification Zero shot Learning - zero-shot learning은 훈련하는 동안 훈련하지 않은 class에 대해서 추적할 수 있는 능력이다. - 정확한 감독(explicit supervised) 없이 새로운 것에 대해서 생성하고 인식할 수 있는 능력을 학습한다. - 예를 들어, transfer learning은 각 class 데이터 세트에 대해서 모델에 fine tun.. 이전 1 다음
