지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.8
- 수록면
- 342 - 350 (9page)
- DOI
- 10.7232/JKIIE.2021.47.4.342
이용수
초록· 키워드
오류제보하기
Language models (LMs) pretrained on a large text corpus and fine-tuned on a task data have a remarkable performance for document classification task. Recently, an adaptive pretraining method that re-pretrains the pretrained LMs using an additional dataset in the same domain with the given task to make up the domain discrepancy has reported significant performance improvements. However, current adaptive pretraining methods only focus on the domain gap between pretraining data and fine-tuning data. The writing style is also different because the pretraining data, e.g., Wikipedia, is written in a literary style, but the task data, e.g., customer review, is usually written in a colloquial style. In this work, we propose a colloquial-adaptive pretraining method that re-pretrains the pretrained LM with informal sentences to generalize the LM to colloquial style. We verify the proposed method based on multi-emotion classification datasets. The experimental results show that the proposed method yields improved classification performance on both low- and high-resource data.
목차
1. 서론
2. 관련연구
3. 방법론
4. 실험 설계
5. 실험 결과
6. 결론
참고문헌
참고문헌 (25)
참고문헌 신청
Agarwal, A., Xie, B., Vovsha, I., Rambow, O., and Passonneau, R. J. (2011), Sentiment Analysis of Twitter Data, Paper Presented at the Proceedings of the Workshop on Language in Social Media (LSM 2011).
Baccianella, S., Esuli, A., and Sebastiani, F. (2010), SentiWordNet 3.0 : An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining, In Proceedings of the Seventh Conference on International Language Resources and Evaluation (LREC’10), Valletta, 2200-2204.
Beltagy, I., Lo, K., and Cohan, A. (2019), SciBERT : A Pretrained Language Model for Scientific Text, arXiv preprint arXiv:1903.10676.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018), Bert : Pre-Training of Deep Bidirectional Transformers for Language Understanding, arXiv preprint arXiv:1810.04805.
Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020), Don’t Stop Pretraining : Adapt Language Models to Domains and Tasks, arXiv preprint arXiv:2004. 10964.
Baccianella, S., Esuli, A., and Sebastiani, F. (2010), SentiWordNet 3.0 : An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining, In Proceedings of the Seventh Conference on International Language Resources and Evaluation (LREC’10), Valletta, 2200-2204.
Beltagy, I., Lo, K., and Cohan, A. (2019), SciBERT : A Pretrained Language Model for Scientific Text, arXiv preprint arXiv:1903.10676.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018), Bert : Pre-Training of Deep Bidirectional Transformers for Language Understanding, arXiv preprint arXiv:1810.04805.
Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020), Don’t Stop Pretraining : Adapt Language Models to Domains and Tasks, arXiv preprint arXiv:2004. 10964.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
A Novel Pretraining Method for Language Model to Enhance Accuracy in Biomedical Information Extraction
한국생물공학회 학술대회
2021 .10
-
업무 특화적인 언어 모델 사전학습을 위한 선택적 마스킹 기법
대한산업공학회 춘계공동학술대회 논문집
2021 .06
-
Generative Pretraining Model을 이용한 Memorable Chatbot
한국정보과학회 학술발표논문집
2019 .12
-
Exploring the Impact of Pretraining Corpora on the Performance of Language Models
한국정보과학회 학술발표논문집
2024 .06
-
한국어 BERT 모델 Pretraining을 통한 BitNet 양자화 기술 검증
한국정보과학회 학술발표논문집
2024 .06
-
Improving Backchannel Prediction Models through Self-Supervised Pretraining
한국정보과학회 학술발표논문집
2023 .06
-
상세개체 태깅에 대한 과학기술 분야 사전학습 언어모델 활용성 검증
한국정보과학회 학술발표논문집
2023 .06
-
사전학습 전략과 딥러닝을 활용한 분자의 특성 예측
한국컴퓨터정보학회 학술발표논문집
2022 .07
-
The Importance of ImageNet-Pretrained Network on Pedestrian-View Intersection Classification
대한전자공학회 학술대회
2021 .06
-
비지도 사전학습 및 자기조직화 지도 이용 터빈이상상태 분류법 개발
대한기계학회 춘추학술대회
2017 .05
-
한국어 자연어생성에 적합한 사전훈련 언어모델 특성 연구
한국지능정보시스템학회 학술대회논문집
2022 .11
-
사전학습을 통한 하이퍼레저 패브릭 취약점 탐지의 거짓 양성 감소 기법
한국정보과학회 학술발표논문집
2024 .12
-
Segmentation-Guided Masked Autoencoder Pretraining for Optical Flow Estimation
한국방송미디어공학회 학술발표대회 논문집
2024 .06
-
fMRI기반 뇌 질환 진단을 위한 다중 질병 대조적 사전학습
한국정보과학회 학술발표논문집
2024 .12
-
효율적 미세 조정을 통한 사전학습 모델의 일반화 성능 손실 방지
대한전자공학회 학술대회
2023 .06
-
로봇 조작 작업을 위한 감독 사전 학습 기반 Deep Deterministic Policy Gradient
대한전자공학회 학술대회
2017 .11
-
Leveraging Self-Supervised Pretraining to Improve Backchannel Prediction Models in English and Korean
정보과학회 컴퓨팅의 실제 논문지
2024 .06
-
로지스틱 판별 분석을 통한 한국어 구어체 문장 감정 분류 정확도 분석
한국정보과학회 학술발표논문집
2017 .06
-
Ko-bert2BERT: 지식 전이를 통한 인코더-디코더 언어모델의 효율적인 사전 학습
한국정보과학회 학술발표논문집
2022 .06
-
Multi-channel Long Short-Term Memory with Domain Knowledge for Context Awareness and User Intention
JIPS(Journal of Information Processing Systems)
2021 .10
이 논문의 저자 정보
이 논문과 함께 이용한 논문
감정분석 모델을 활용한 가상환경 플레이어의 감정표현 기법
조찬영
,
김덕형
,
양아름
외 1명
Proceedings of KIIT Conference
2022
.06
KoBERTSEG: 한국어 BERT를 이용한 Local Context 기반 주제 분리 방법론
소규성
,
이윤승
,
정의석
외 1명
대한산업공학회지
2022
.04
트랜스포머기반의 멀티모달 영상자막 생성요약
이민예
,
한성원
대한산업공학회지
2021
.10
WaDGAN-AD를 이용한 전력 소비 패턴의 비지도 학습 기반 이상 탐지
김혜연
,
김형석
,
강필성
대한산업공학회지
2021
.10
비지도 학습 기반의 한국어 속성 추출에 적합한 전처리 방법 연구 : 육아용품 상품평을 대상으로
박명현
,
최회련
,
이홍철
대한산업공학회지
2021
.02
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2021-530-001929547