인공지능 (5) 썸네일형 리스트형 번역의 흐름 규칙 기반 기계 번역(RBMT, Rule-Based Machine Translation) 경우의 수를 직접 정의해주는 방식입니다. 수많은 규칙들은 모두 언어학을 기반으로 합니다. 한계 규칙에 없는 문장이 들어올 경우 번역이 불가능합니다. 유연성이 떨어지며, 무엇보다 모든 규칙을 정의하는 과정이 복잡하고 오랜 시간이 필요합니다. 위의 기계 번역은 한계가 존재하고 더 유연하게 번역해낼 수 있는 방법이 필요했습니다. 그래서 IBM에서 1988년에 통계적 기계 번역을 선보입니다. 통계적 기계 번역 수많은 데이터로부터 통계적 확률을 구해 번역을 진행합니다. 통계적 언어 모델을 기반으로 동작합니다. 조건부 확률 조건부 확률은 아래와 같은 관계를 갖습니다. 4개의 확률이 조건부 확률의 관계를 가진다고 가정했을 때 아.. Scikit-Learn Machine Learning - 머신 러닝을 알아보자 머신러닝 알고리즘 종류 지도 학습 (Supervised Learning) 비지도 학습(Unsupervised Learning) 강화 학습 (Reinforcement Learning) 지도 학습 지도 학습은 사례들을 기반으로 예측을 수행한다. 이미 분류된 학습용 데이터를 가지고 훈련을 하고, 학습용 데이터를 바탕으로 일반화된 모델을 가지고 새로운 사례를 예측한다. Classification binary classification multi-class classification Regression 연속 값 예측 Forecasting 과거 및 현재 데이터를 기반으로 미래 예측 준지도 학습 지도 학습은 데이터 분류 작업에 비용과 시간이 많이 든다. 따라서 미분류 사례와 함께 소량의 분류 데이터를 사용한다. 비지.. Recurrent Neural Network 분포 가설과 분산 표현 Embedding Recurrent layer RNN LSTM 자연어 처리의 큰 흐름 RNN 순차적인 데이터 처리에 적합한 모델 장기 의존성 문제 기울기 소실 문제 LSTM 등장 RNN 한계 극복 기억 문제 개선 장기 의존성 처리 능력 계산 비용이 많이 든다 병렬 처리가 어렵다 GNU 등장 LSTM보다 더 간단한 구조로 복잡성이 줄어든다 Transformer self-Attention 메커니즘 병렬 처리 가능 RNN과 LSTM 단점을 극복 시퀀스에 대한 장기 의존성을 처리 분포 가설과 분산 Sparse representation 벡터의 특정 차원에 단어 혹은 의미를 직접 매핑하는 방식 해당 데이터에서 실제로 중요한 정보가 있는 일부 요소만을 표현하고 나머지 요소는 0으로 표현하는 .. 챗GPT가 불러올 경제 혁명 MIT technology의 기사를 읽고 재미있어서 정리를 해보았습니다. Notes 근 몇 달간 챗GPT(ChatGPT) 같은 생성형AI 모델들로부터 사업 기회를 노리는 이른바 ‘AI 골드러시(AI gold rush)’가 시작됐다. 앱 개발자, 벤처 스타트업, 세계 굴지의 기업을 막론하고 모두가 지난해 11월 오픈AI(OpenAI)가 선보인 화제의 텍스트 생성 봇을 이해하기 위해 노력하고 있다. 지난 10년간 AI와 디지털 기술은 놀라울 정도로 발전했지만, 경제적 번영과 공동의 성장에 기여한 부분은 다소 실망스럽다. 오픈AI는 GPT-4의 매개변수 수를 정확히 밝히지 않지만 추측은 가능하다. GPT-3는 약 1,750억 개의 매개변수를 가지고 있었으며 이는 GPT-2의 약 100배에 달하는 수치였다. 빅.. Train Once, Test Anywhere : Zero-Shot Learning for Text Classification 지도학습과 비지도 학습 등 최근에는 다양한 인공지능 학습 방법에 대한 연구가 이뤄지고 있다. 그중에서도 Zero shot learning이라는 학습 방법에 대해 궁금해서 관련 논문으로 개념을 알아보려 한다. Train Once, Test Anywhere - Zero-Shot Learning for Text Classification Zero shot Learning - zero-shot learning은 훈련하는 동안 훈련하지 않은 class에 대해서 추적할 수 있는 능력이다. - 정확한 감독(explicit supervised) 없이 새로운 것에 대해서 생성하고 인식할 수 있는 능력을 학습한다. - 예를 들어, transfer learning은 각 class 데이터 세트에 대해서 모델에 fine tun.. 이전 1 다음
