MRC 정리

http://www.yes24.com/Product/Search?domain=FOREIGN&query=machine%20reading%20comprehension 

machine reading comprehension - YES24

 

MRC는 NLU (Natural Language Understanding) 에서 중요한 역활을 수행하고 목표는 AI (Artificial Intelligence) 기술을 사용하여 인간과 같이 컴퓨터가 문서들을 이해할 수 있게 하는 것이다.

MRC는 초기에 지도 학습 방식을 통하여 주어진 문서와 연관된 질의를 통하여 주어진 포맷에 맞는 답변을 가지고 학습을 진행하였습니다.

현재는 MRC 알고리즘의 대다수가 deep learning 기반 하에 진행되고 있습니다.

기존 검색엔진은 사용자 관련 쿼리에 연관된 문서만 돌려 주었지만 MRC 모델은 문서의 답변을 가리킬 수 있습니다.

MRC 데이터셋은 문서, 질의, 답변 3가지로 구성되어 있다. 답변이 질의 기반의 문서에서 추론 되어야 되기 때문에 문서와 질의를 자동적으로 생성하는 것은 쉬운 일이 아니다. 그래서 학습 데이터를 생성하는 정보의 다른 부분을 얻기 위해 알고리즘을 사용하거나 문서로부터 질의를 생성하거나 질의로부터 문서를 생성하는 방식이 필요하다.

독해력에서 많은 질문들이 일반 상식을 포함하고 있다. 예를 들어 영희가 철수와 영수가 집에 있다. 그리고 후에 영수가 집을 떠났다. 현재 집에 몇 명이 있는가? 이 질문에 답하기 위하여 모델은 영수가 집을 떠나서 더 이상 집에서 살지 않는다는 것을 이해해야 할 것이다.

MRC 모델의 10가지 기본 필요 스킬에 대하여 알아보자.

• 1. 모델은 문서와 관련된 개념에 대한 식별, 요약 및 순차적 배열이 필요하다.
• 2. 숫자 계산
• 3. 상호 참조 해결 (대명사의 참조 대상 이해)
• 4. 논리적 추론
• 5. 유추 (은유, 비유)
• 6. 공간 시간 관계
• 7. 인과관계
• 8. 상식적 추론
• 9. 풍부한 의미 정보를 포함한 수식 절 관계 (월드컵에서 두 골을 넣은 손흥민)
• 10. 특수 문장 구조 (도치 문)

MRC 사용 NLP 모델 알고리즘

• Tokenization(BPE), Word vector, tagging (NER, POS), LM
• 문장벡터 변환(RNN, CNN, Parametrized weighted sum)
• NLU(discriminative model), NLG(generative model)
• 어텐션 매커니즘

MRC 구조

• https://velog.io/@naem1023/MRC
• https://velog.io/@khyeyoon/NLP-Extraction-based-MRC-tutorial
• https://taeuk-kim.tistory.com/42

정리

기본적으로 MRC라고 하면 기계가 독해력을 가지고 있고 독해력을 바탕으로 질의에 대한 응답을 하는 것이라고 생각한다. 기본적인 설명은 맞지만 그 안에 들어가는 기술들은 인간이 표현하는 독해력이라는 단어 하나의 기능을 구현하기 위하여 최신 고도화된 자연어 처리 기법을 모두 사용하여도 사람의 독해력을 따라하는 기계를 만들기란 쉽지 않다.

인간이 가지고 있는 기본적인 상식, 추론능력, 독해력, 계산력, 식별능력, 요약능력, 인과관계 파악 능력 등 여러가지 기계가 가지고 있지 못하는 다양한 일을 자연스럽게 하고 있는 것을 보면 인간의 본질 및 기능에 대하여 당연하다고 생각하는 것들이 얼마나 소중한 것들인지 다시 한번 새삼 깨닫게 된다.

그럼 각설하고 MRC의 모델 구성을 위해서 기본 능력을 알아봐야 할 것이다. 자연어 처리를 위한 기본 능력은 단어 및 문장, 단락에 대한 계산 가능한 수치 변경 능력일 것이다. 기계는 수치로 변경된 것을 받아들이고 이해(계산)하기 때문에 사람이 인식하는 방식으로 단어 및 문장, 단락에 대하여 기계가 이해할 수 있도록 수치 화를 하지 않는다면 모델 기계 학습으로 자연어 처리는 힘들 것이다.

언어 모델 및 지도 기반 학습 모델을 통하여 생성된 벡터 변환 모델들도 있지만 현재는 Deep Learning 기반의 벡터 변환 모델들을 사용하고 있는 방향으로 가고 있다. Deep Learning 모델로 들어가면서 기존 모델의 단어 분리 및 벡터 변환 알고리즘들이 점차 복잡하게 변화되고 있고 그들 중 BPE, Word vector, LM 등을 확인 하면 기본 방식에 대하여 알게 될 수도 있을 것 같다.