NLP/Projects1 [LLM fine-tuning] PolyGlot-ko 포스팅 개요 KoAlpaca에서 Polyglot-ko 12.8B 모델을 KoAlpaca v1.1a로 fine-tuning하는 예제를 확인해볼 수 있습니다. 앞으로 이 task를 진행하는 과정에 사용된 개념들을 하나씩 파헤쳐볼 예정입니다. 그 첫 단계로 Polyglot-ko에 대해 알아보겠습니다. 아래는 Polyglot-ko의 technical report를 메인으로, 관련 내용을 정리한 것입니다. Introduction to Polyglot-ko Polyglot mBERT, BLOOM, XGLM 등 다양한 다국어 언어 모델이 공개되었음에도 불구하고, 사람들은 단일 언어 모델을 만들어 사용하고 있습니다. 이는 공개되어 있는 다국어 모델의 학습 데이터가 영어에 편중되어 있고, 이로 인해 비영어권 언어 태스크.. 2023. 7. 2. 이전 1 다음
