2021 "어떤 언어 모델이 좋을까 - 언어 모델의 간략한 역사"
(“어떤 언어 모델이 좋을까 - 언어 모델의 간략한 역사” 2021)
언어 모델(Language Model)은 특정 문장(=단어의 나열)이 등장할 확률을 계산해주는 모델입니다. 문장에 대해 확률을 계산할 수 있다는 건, 단어(혹은 문장)를 적절하게 선택하거나 생성해야하는 경우 여러 후보 중에서 더 적절한(확률이 높은) 후보를 선택하는 데에 쓰일 수 있다는 뜻이지요. 이 때문에 기계번역, 음성 인식, 철자 교정, OCR 등 언어와 관련된 여러 과제에서 널리 쓰이고 있습니다(이에 대해서는 예전에 몇몇 포스팅에서 간략하게 다룬 적이 있습니다). 게다가 최근 GPT-3와 같은 강력한 언어 모델이 등장하면서 언어모델이 위와 같이 비교적 단순한 과제뿐만 아니라 대화나 긴 글을 통채로 생성하거나, 주어진 예문이나 설명을 바탕으로 새로운 문제를 해결하는 것까지도 가능하다는 것이 밝혀져서..
- N-Gram
- RNN 계열 모델
- GPT 1,2,3
- Kneser-ney
Related-Notes
References
“어떤 언어 모델이 좋을까 - 언어 모델의 간략한 역사.” 2021. 나의 큰 O는 log x야. June 22, 2021. https://bab2min.tistory.com/666.