사전과 말뭉치를 이용한 한국어 단어 중의성 해소

정한조; 박병화

추천

검색

질문

자료유형: 학술저널

저자정보: 정한조 (한국과학기술정보연구원) 박병화 (한남대학교)

저널정보: 한국지능정보시스템학회 지능정보연구 지능정보연구 제21권 제1호

발행연도: 2015.3

수록면: 1 - 13 (13page)

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

이 논문의 연구 히스토리 (2)

2015

사전과 말뭉치를 이용한 한국어 단어 중의성 해소

정한조 , 박병화 지능정보연구 2015.03 학술저널

2014

사전과 말뭉치를 이용한 한국어 중의성 해소

정한조 , 박병화 한국지능정보시스템학회 학술대회논문집 2014.11 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

빅데이터 및 오피니언 마이닝 분야가 대두됨에 따라 정보 검색/추출, 특히 비정형 데이터에서의 정보 검색/추출 기술의 중요성이 나날이 부각되어지고 있다. 또한 정보 검색 분야에서는 이용자의 의도에 맞는 결과를 제공할 수 있는 검색엔진의 성능향상을 위한 다양한 연구들이 진행되고 있다. 이러한 정보 검색/추출 분야에서 자연어처리 기술은 비정형 데이터 분석/처리 분야에서 중요한 기술이고, 자연어처리에 있어서 하나의 단어가 여러개의 모호한 의미를 가질 수 있는 단어 중의성 문제는 자연어처리의 성능을 향상시키기 위해 우선적으로 해결해야하는 문제점들의 하나이다. 본 연구는 단어 중의성 해소 방법에 사용될 수 있는 말뭉치를 많은 시간과 노력이 요구되는 수동적인 방법이 아닌, 사전들의 예제를 활용하여 자동적으로 생성할 수 있는 방법을 소개한다. 즉, 기존의 수동적인 방법으로 의미 태깅된 세종말뭉치에 표준국어대사전의 예제를 자동적으로 태깅하여 결합한 말뭉치를 사용한 단어 중의성 해소 방법을 소개한다. 표준국어대사전에서 단어 중의성 해소의 주요 대상인 전체 명사 (265,655개) 중에 중의성 해소의 대상이 되는 중의어 (29,868개)의 각 센스 (93,522개)와 연관된 속담, 용례 문장 (56,914개)들을 결합 말뭉치에 추가하였다. 품사 및 센스가 같이 태깅된 세종말뭉치의 약 79만개의 문장과 표준국어대사전의 약 5.7만개의 문장을 각각 또는 병합하여 교차검증을 사용하여 실험을 진행하였다. 실험 결과는 결합 말뭉치를 사용하였을 때 정확도와 재현율에 있어서 향상된 결과가 발견되었다. 본 연구의 결과는 인터넷 검색엔진 등의 검색결과의 성능향상과 오피니언 마이닝, 텍스트 마이닝과 관련한 자연어 분석/처리에 있어서 문장의 내용을 보다 명확히 파악하는데 도움을 줄 수 있을 것으로 기대되어진다.

As opinion mining in big data applications has been highlighted, a lot of research on unstructured data has made. Lots of social media on the Internet generate unstructured or semi-structured data every second and they are often made by natural or human languages we use in daily life. Many words in human languages have multiple meanings or senses. In this result, it is very difficult for computers to extract useful information from these datasets. Traditional web search engines are usually based on keyword search, resulting in incorrect search results which are far from users’ intentions. Even though a lot of progress in enhancing the performance of search engines has made over the last years in order to provide users with appropriate results, there is still so much to improve it. Word sense disambiguation can play a very important role in dealing with natural language processing and is considered as one of the most difficult problems in this area. Major approaches to word sense disambiguation can be classified as knowledge-base, supervised corpus-based, and unsupervised corpus-based approaches.
This paper presents a method which automatically generates a corpus for word sense disambiguation by taking advantage of examples in existing dictionaries and avoids expensive sense tagging processes. It experiments the effectiveness of the method based on Naive Bayes Model, which is one of supervised learning algorithms, by using Korean standard unabridged dictionary and Sejong Corpus. Korean standard unabridged dictionary has approximately 57,000 sentences. Sejong Corpus has about 790,000 sentences tagged with part-of-speech and senses all together. For the experiment of this study, Korean standard unabridged dictionary and Sejong Corpus were experimented as a combination and separate entities using cross validation. Only nouns, target subjects in word sense disambiguation, were selected. 93,522 word senses among 265,655 nouns and 56,914 sentences from related proverbs and examples were additionally combined in the corpus. Sejong Corpus was easily merged with Korean standard unabridged dictionary because Sejong Corpus was tagged based on sense indices defined by Korean standard unabridged dictionary. Sense vectors were formed after the merged corpus was created. Terms used in creating sense vectors were added in the named entity dictionary of Korean morphological analyzer. By using the extended named entity dictionary, term vectors were extracted from the input sentences and then term vectors for the sentences were created. Given the extracted term vector and the sense vector model made during the pre-processing stage, the sense-tagged terms were determined by the vector space model based word sense disambiguation.
In addition, this study shows the effectiveness of merged corpus from examples in Korean standard unabridged dictionary and Sejong Corpus. The experiment shows the better results in precision and recall are found with the merged corpus. This study suggests it can practically enhance the performance of internet search engines and help us to understand more accurate meaning of a sentence in natural language processing pertinent to search engines, opinion mining, and text mining. Naive Bayes classifier used in this study represents a supervised learning algorithm and uses Bayes theorem. Naive Bayes classifier has an assumption that all senses are independent. Even though the assumption of Naive Bayes classifier is not realistic and ignores the correlation between attributes, Naive Bayes classifier is widely used because of its simplicity and in practice it is known to be very effective in many applications such as text classification and medical diagnosis. However, further research need to be carried out to consider all possible combinations and/or partial combinations of all senses in a sentence. Also, the effectiveness of word sense disambiguation may be improved if rhetorical structures or morphological dependencies between words are analyzed through syntactic analysis.

#중의어 해소 #자연어처리 #결합 말뭉치 #벡터 공간 모델 #Word Sense Disambiguation #Natural Language Processing #Merged Corpus #Vector Space Model

참고문헌 (18)

참고문헌 신청

1. [단행본] - Agirre, E / 2007 / Word Sense Disambiguation:Algorithms and Applications / Springer

2. [학술지(정기간행물)] - Al-Aidaroos, K. M / 2012 / Medical Data Classification with Naїve Bayes Approach / Information Technology Journal 11 (9) : 1166 ~ 1174

3. [학술대회논문] - Besserve, M. / 2007 / Cross-spectral Discriminant Analysis (CSDA)for the Classification of Brain Computer Interfaces / Proceedings of the 3rd International IEEE/EMBS Conference on Neural Engineering : 375 ~ 378

4. [학술지(정기간행물)] - 최영석 / 2013 / 의미간의 유사도 연구의 패러다임 변화의 필요성-인지 의미론적 관점에서의 고찰 / 지능정보연구 19 (1) : 111 ~ 123

5. [학술지(정기간행물)] - Domingos, P. / 1997 / On the Optimality of the Simple Bayesian Classifier under Zero-one Loss / Machine Learning 29 (2-3) : 103 ~ 130

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

정한조

소속기관 한국과학기술정보연구원

주요연구분야 공학 > 산업공학

논문수 5 이용수 1,023

박병화

소속기관 한남대학교

주요연구분야 사회과학 > 관광학 공학 > 산업공학

논문수 15 이용수 3,724

이 논문과 함께 이용한 논문

통계적 텍스트 마이닝을 이용한 빅 데이터 전처리

전성해 한국지능시스템학회 논문지 2015 .10

영역별 맞춤형 감성사전 구축을 통한 영화리뷰 감성분석

이상훈 , 최정 , 김종우 지능정보연구 2016 .06

Bankruptcy Prediction Modeling Using Qualitative Information Based on Big Data Analytics

Nam-ok Jo , Kyung-shik Shin 지능정보연구 2016 .06

컴퓨터관련 대학 수업에서 학습자가 원하는 것

안동규 , 최정웅 한국컴퓨터정보학회 학술발표논문집 2016 .07

유사 약물 예측을 위한 텍스트 마이닝 기반의 새로운 약물 유사도 측정 방법

장기업 , 황유현 , 오민 외 2명 한국정보기술학회논문지 2016 .07

최근 본 자료

전체보기

UCI(KEPA) : I410-ECN-0101-2016-003-001367364

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (18)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

이 논문과 함께 이용한 논문

최근 본 자료

댓글(0)