NLI

NLI

일단 NLI란? Natural Language Inference, 자연어 추론이다.

자연어 추론이 뭐에요? 라고 하면 가설이 전제로부터 논리적으로 도출되는지를 판별하는 작업이다.

여기서 나오는 쉬운 말로 풀어쓴 예는

'전제'== 해당 주제에 대해 알고있는 유일한 지식

그럼 그 전제를 바탕으로 가설이 참인지를 파악하는 것.

Problem Statement.

NLI as classifying the hypothesis into three classes based on the premise: entailment, contradiction, or neutral.

NLI는 전제를 바탕으로 가설을 함의, 모순, 정립의 세 가지 범주로 분류한다.

• 함의: 가설이 논리적으로 전제를 따르는 경우
• 모순: 가설이 전제의 정보에 반대되는 경우
• 정립: 가설이 정보와 논리적인 관계가 분명하지 않을 때.

그럼 그 분류는 어떻게 수행하는데?.

초기 자연어 처리 모델은 정렬, 기호 논리 및 명시적인 어휘-의미 자원에 의존했다.

이후에는 신경망 접근 방식의 등장으로 LSTM, Attention mechanisms, transformer-based encoders를 기반으로 수행된다.

Sequential Matching Architectures

Match-LSTM

각 문장을 단일 전역 벡터로 인코딩 -> Match-LSTM은 가설을 순차적으로 처리한다.

각 단어에서 '전제'의 Attention 가중 표현을 계산하고 이를 두 번째 미칭 LSTM과 연결하여 가설 단어와 명시적으로 매칭한다.

->모델은 중요한 불일치를 강조할 수 있으며, 유용한 정보가 없는 매칭은 선택적으로 잊어버리고 불일치는 기억.

Hierarchical Interaction Tensor Models

DIIN과 같은 접근 방식은 ...

전제 <-> 가설 사이에서 모든 단어 쌍에 대해서 조밀한 상호작용 텐서를 구성.

이 고차원 텐서 위에 CNN 기반 특징 추출을 사용하여 모델이 다양한 규모에서 풍부한 문장 간 의미 패턴을 활용할 수 있도록 한다.

예전의 논문들을 보면 약간 단어 매칭이나 표층적 비교만을 시도한 것 같아서 요즘은 어떻게 자연어 추론을 시도하는지..?

-> Self-Attention 메커니즘을 활용해서 단순 단어 매칭보다 훨씬 더 긴 문맥과 복잡한 의미 관계를 반영한 추론이 가능.

• 초대형 언어 모델도 NLI 성능도 평가할 수 있고, Zero-shot/few-shot으로 해결할 수 있다.

결국에 "단어 매칭"의 성격이 강한 것 같다.

https://towardsdatascience.com/natural-language-inference-an-overview-57c0eecf6517/

[Natural Language Inference: An Overview | Towards Data Science

Benchmark and models

towardsdatascience.com](https://towardsdatascience.com/natural-language-inference-an-overview-57c0eecf6517/)

https://sbert.net/examples/sentence_transformer/training/nli/README.html

[Natural Language Inference — Sentence Transformers documentation

That the SoftmaxLoss with NLI data produces (relatively) good sentence embeddings is rather coincidental. The MultipleNegativesRankingLoss is much more intuitive and produces significantly better sentence representations. The training data for MultipleNega

sbert.net](https://sbert.net/examples/sentence_transformer/training/nli/README.html)

https://www.emergentmind.com/topics/natural-language-inference-nli

[Natural Language Inference (NLI)

Natural Language Inference (NLI) categorizes semantic relations between texts for entailment, contradiction, or neutrality, enabling advanced NLP applications.

www.emergentmind.com](https://www.emergentmind.com/topics/natural-language-inference-nli)