J._.Y's Note

최신글

• 

  AI SELF-ATTENTION DOES NOT NEED O(n2) MEMORY Abstract 일반적으로 self-attention은 시퀀스 길이에 비례하는 제곱수의 메모리를 필요로 한다 하지만 이 논문에서 제안하는 Attention을 대체할 수 있는 알고리즘을 통해서 시퀀스 길이에 따라 고정된 양의 메모리O(1)만 필요로 하고 더 확장하면 로그 함수에 비례하는 메모리(O(logn))만을 필요로 한다. 또한, 이 알고리즘은 메모리 효율적인 방식으로 함수를 미분하는 방법도 제공합니다 Problem Standard Self attention Query 특정 요소에 주목해야 하는 정도를 결정 Key 주목해야 할 요소 Value 요소에 연관된 정보 연산 과정은 Q와 K 사이의 alignment score를 계산하고 그 score를 사용해서 value에 가중치로 사용을 한다. 가중치를 생성..

• AI Chatbot - 검색 기반 모델? 생성 모델? 검색 기반 모델 미리 정해진 응답들의 데이터를 사용해서 input과 문맥에 기반하여 적절한 응답을 경험적인 방법으로 선택합니다. 룰 기반 매칭 만큼 단순하고 고정된 집합에서 응답을 선택합니다 장점과 단점 문법적 오류가 없지만 적절한 응답이 존재하지 않는 경우에는 처리할 수 없습니다. 생성모델 미리 정해둔 응답에 의존하지 않고 전형적으로 기계 번역 기술에 기반을 둡니다. 장점과 단점 문법적 오류가 있을 수 있지만 자연스럽고 사람 같이 문장을 생성합니다. 하지만 데이터 셋의 양이 많이 필요하고 비용과 시간이 많이 소요됩니다. 도전 과제 문맥 병합 인격의 일관성 챗봇 챗봇의 목적은 사람과 대화를 하는 것이 목적인 모델입니다. 보통은 Sequence to Sequence의 구조로 되어 있습니다. Encoder는..

• 

  AI 번역의 흐름 규칙 기반 기계 번역(RBMT, Rule-Based Machine Translation) 경우의 수를 직접 정의해주는 방식입니다. 수많은 규칙들은 모두 언어학을 기반으로 합니다. 한계 규칙에 없는 문장이 들어올 경우 번역이 불가능합니다. 유연성이 떨어지며, 무엇보다 모든 규칙을 정의하는 과정이 복잡하고 오랜 시간이 필요합니다. 위의 기계 번역은 한계가 존재하고 더 유연하게 번역해낼 수 있는 방법이 필요했습니다. 그래서 IBM에서 1988년에 통계적 기계 번역을 선보입니다. 통계적 기계 번역 수많은 데이터로부터 통계적 확률을 구해 번역을 진행합니다. 통계적 언어 모델을 기반으로 동작합니다. 조건부 확률 조건부 확률은 아래와 같은 관계를 갖습니다. 4개의 확률이 조건부 확률의 관계를 가진다고 가정했을 때 아..