형태소 분석 / Morphological Analysis 정의 및 용어 설명

형태소 분석 / Morphological Analysis 정의 및 용어 설명

 

문장을 의미있는 최소 단위로 분해하여 의미와 품사 등 판별한다. 

자연 언어를 컴퓨터에서 처리하는데 영어는 원래 문장을 단어 단위로 구분하여 표기하는 반면, 한국어는 단어 단위로 구분하고, 복잡한 조합 등 매우 어려운 언어로 있지만, 변환 소프트웨어 등에 내장된 로직으로, 그 정확도를 향상시켜 왔다. 

텍스트 마이닝 등의 분석 도구에 조립된 장문 같은 복잡한 문장 구조도 정밀하게 분석 할 수 있게 되었다.

 

 

텍스트 마이닝의 흐름과 "형태소 분석" 

텍스트 마이닝에 필수적인 기술 "형태소 분석"입니다. 텍스트 마이닝을 "의미있는 최소 단위"로 구분이라고 소개했지만,이 "문장을 구분 '위해 이용되는 기술이 형태소 분석이며, 텍스트 마이닝 1st 단계입니다. 

텍스트 마이닝의 흐름과 형태소 분석 

"형태소 분석"은 생소한 말이지 만 언어로 의미를 가지는 최소 단위로, 단어의 수입니다. 단어마다 공백으로 구분되어 있기 때문에 쉽게 분할 할 수 있다

그런데, 한국어의 경우는 구분이 없기 때문에 기계적으로 판단 할 수 없다. 따라서 AI 등에서 볼 수 있는 자연 언어 처리가 필요합니다. 형태소 분석은 기계 번역 등에서 요구되는 기술이다. 

이 형태소 분석을 통해 텍스트를 뿔뿔이 흩어지게 되면 데이터를 "청소"합니다. 데이터 분석에서 일반적으로 행해지고 있는 것입니다만, 이상 값과 결 측값 노이즈를 제거한다. 

이렇게 「광업」에 들어갑니다. 통계적 방법을 사용하여 다른 데이터와 결합하거나 관련을 시각화하여 가치를 부여한다. 마이닝 기술은 "협회 분석"(단어 사이의 관련성을 본다)와 「클러스터 분석」(텍스트 사이의 유사성에서 그룹화) 등이 있다. 

 

텍스트 마이닝에서 얻은 분석 결과 

텍스트 마이닝을 통해 어떤 분석 결과를 얻을 수 있을까요. 주요 3 가지 예를 소개한다. 

▶ 설문 조사에서 "고객의 요구" 

설문 집계을 고려하여 모든 선택적으로하는 것이 이상적이다. 그러나 삶의 목소리를 듣고 싶다는 요구도 많아, 자유 기술 란을 마련하는 것이 많다. 이 소리를 개별적으로 읽는 것은 자원으로 어렵지만 텍스트 마이닝을 활용하여 구체적인 요구와 서비스 이용 상황 등을 파악할 수 있다.

 

▶ 콜센터의 지원 내역에서 "연락처 정보" 

콜센터와 헬프 데스크에서 해당 기록을 남기고 있다. 동안 음성 인식을 통해 텍스트화 되어 있는 경우도 있다. 이들을 이용하여 수 많은 문의를 집계 한 FAQ를 만들거나 제품이나 서비스 개선에 활용한다. 

▶ 인터넷에서 마케팅 데이터 

바로 빅 데이터가되는 인터넷상의 게시판 커뮤니티 사이트, SNS, 블로그 등은 고객의 원시 정보의 보고이다. 

하지만 양이 너무 많아서 분석까지 하기가 어렵다. 그래서 텍스트 마이닝을 활용하여 자사 제품의 만족도와 평가 등을 탐구. 신제품 투하 후 인터넷에서 명성을 수집하고 있는 기업도 있다. 이벤트 종료 후에 그 반향을 모아 분석하고 있는 기업도 있다. 

 

 

텍스트 마이닝 기능 개요와 활용 장면 

 

빅 데이터 시대에 중요한 텍스트 마이닝 

많은 정보가 디지털화 된 데이터 분석이 용이하게 되어 있다. 그러나 그 양이 너무 많거나 형식이 다르면 일반적 도구는 분석이 어렵다. 따라서 텍스트 마이닝의 도입이 활발해지고 있다. 고객의 소리를 빨아 마케팅 데이터로 활용하기 위해서도, 텍스트 마이닝의 검토가 권장되고 있는 추세이다.