카카오, 딥러닝 기반 '형태소 분석기' 오픈소스 공개

khaiii의 CNN 모델 네트워크 구조. /사진=카카오 브런치

카카오가 AI 기술을 적용한 형태소 분석기술을 오픈소스로 공개한다고 30일 밝혔다.
‘khaiii’는 카카오가 개발한 형태소 분석기로 국내 최초 오픈소스로 제공된다. 카카오는 오픈소스 공개를 통해 한국어 연구, 챗봇·자연어 처리 응용기술 개발 등 다양한 분야에서 형태소 분석을 위한 비용과 시간을 줄일 계획이다.

형태소 분석기술은 2개 이상 글자로 이뤄진 단어나 문장 입력 시 형태소 단위로 자동 분리하는 기술이다. 예를 들면 ‘학교에 간다’고 입력하면 ‘학교(명사)+에(조사)+가(동사)+ㄴ다(어미)’로 형태소 단위와 품사를 파악해 분류하는 기술이다. 주로 자연어처리 응용 서비스 기반 기술로 사용되며 정보 검색, 기계 번역, 스마트 스피커나 챗봇 등 여러 서비스에서 사용 가능하다.


khaiii는 딥러닝으로 학습한 데이터를 활용해 형태소를 분석한다. 딥러닝 기술 중 하나인 합성곱신경망(CNN)기술을 이용해 음절기반으로 형태소를 분석하는 방법을 채택했다.

카카오는 국립국어원에서 배포한 세종 코퍼스 데이터를 기반으로 오류를 수정한다. 자체 구축한 데이터를 추가해 85만 문장과 1003만어절을 학습해 정확도를 높였다. 딥러닝 과정에서 C++ 언어를 적용해 그래픽처리장치(GPU)를 사용하지 않고 빠른 분석 속도를 구현했다.

김응균 카카오 자연어처리파트장은 “한국어를 연구하는 분에게 도움이 되고자 형태소 분석기를 공개하게 됐다”며 “앞으로도 다양한 분야에서 딥러닝 기반 기술연구를 진행하고 공유할 예정”이라고 말했다.

한편 khaiii는 깃허브에서 확인할 수 있으며 무료로 이용 가능하다.