지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제29권 제12호
- 발행연도
- 2023.12
- 수록면
- 555 - 562 (8page)
- DOI
- 10.5626/KTCP.2023.29.12.555
이용수
초록· 키워드
오류제보하기
최근의 dense retrieval 연구에서는 기존의 2단계 프레임워크의 ranker 모델에서 retriever 모델로 지식을 증류함으로써 더욱 효과적인 retriever 모델을 얻을 수 있다는 것을 보여주었다. 하지만 이러한 지식 증류 기법은 별도로 사전에 교사 모델(teacher model)을 학습시켜야 하고, 학생 모델(student model)에게 지식을 증류하기에 가장 적합한 교사 모델을 찾는 데에 많은 시간과 노력이 필요하다는 한계점이 존재한다. 본 논문에서는 학생 모델 자기 자신을 교사 모델로 사용하여 지식을 증류하는 방법인 teacher-free self-training 지식 증류 기법을 사용한 dense retriever 모델을 제안한다. 초기 학습 단계에서는 손실 함수로 negative log likelihood를 사용하고, 후반 학습 단계에서는 teacher-free 증류 기법을 이용한 손실 함수를 사용한다. 이는 교사 모델을 사용하지 않는 다른 teacher-free 지식 증류 기법인 self-regularization이나, label smoothing regularization에서 실제 정답을 기반으로 정답이 아닌 문서를 모두 동일한 값으로 두어 soft label을 만드는 것과 달리, 학습된 모델의 예측을 기반으로 정답인 문서와 유사하다고 판단되는 문서는 그렇지 않은 문서보다 더 높은 값을 가질 수 있도록 한다. 실험에서, 기존의 dense passage retrieval 모델에 대해 향상된 성능을 보여 제안 방법의 효과를 입증한다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 제안 방법
4. 실험
5. 결론
References
참고문헌 (16)
참고문헌 신청
E. Brill, S. Dumais, and M. Banko, “An analysis of the AskMSR question-answering system,” Proceedings of the ACL-02 conference on Empirical Methods in Natural Language Processing - EMNLP ’02. Association for Computational Linguistics, pp. 257-264, 2002.
David A. Ferrucci, Eric W. Brown, Jennifer ChuCarroll, James Fan, David Gondek, Aditya Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John M. Prager, Nico Schlaefer, and Christopher A. Welty, "Building watson: An overview of the deepqa project,"
S. Robertson and H. Zaragoza, "The Probabilistic Relevance Framework: BM25 and Beyond," Foundations and Trends in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.
V. Karpukhin, B. Oguz, S. Min, P. Lewis, L. Wu, S. Edunov, D. Chen, and W. Yih, "Dense Passage Retrieval for Open-Domain Question Answering," Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for C
Y. Qu, Y. Ding, J. Liu, K. Liu, R. Ren, W. X. Zhao, D. Dong, H. Wu, and H. Wang, “RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering,” Proceedings of the 2021 Conference of the North American Chapter of
David A. Ferrucci, Eric W. Brown, Jennifer ChuCarroll, James Fan, David Gondek, Aditya Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John M. Prager, Nico Schlaefer, and Christopher A. Welty, "Building watson: An overview of the deepqa project,"
S. Robertson and H. Zaragoza, "The Probabilistic Relevance Framework: BM25 and Beyond," Foundations and Trends in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.
V. Karpukhin, B. Oguz, S. Min, P. Lewis, L. Wu, S. Edunov, D. Chen, and W. Yih, "Dense Passage Retrieval for Open-Domain Question Answering," Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for C
Y. Qu, Y. Ding, J. Liu, K. Liu, R. Ren, W. X. Zhao, D. Dong, H. Wu, and H. Wang, “RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering,” Proceedings of the 2021 Conference of the North American Chapter of
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
교사 답변 엔트로피 기반 적응적 지식 증류
한국지능시스템학회 논문지
2024 .12
-
이질적 지식증류를 활용한 텍스트 분류 방법론
한국컴퓨터정보학회논문지
2022 .10
-
지식 증류 기법 별 교사와 학생 간 강건성 상호 관계
한국정보과학회 학술발표논문집
2024 .06
-
지식의 분포 특성을 활용한 지식 증류
정보 및 제어 논문집
2021 .04
-
비최대 억제를 통한 밀집 객체 검출을 위한 지식 저장 증류
전자공학회논문지
2025 .01
-
대조 학습 기반 자가증류를 이용한 단일 영상 초해상화 모델 경량화 기법
방송공학회논문지
2023 .11
-
초해상화 모델 경량화를 위한 지식 증류 방법의 비교 연구
융합신호처리학회 논문지
2023 .03
-
다변량 시계열 데이터에서 이상 탐지를 위한 지식 증류
한국정보과학회 학술발표논문집
2021 .06
-
Conditional Knowledge Distillation for Model Specialization
Journal of KIISE
2021 .04
-
자가 지식 증류 기법을 적용한 객체 검출 기법의 성능 분석
한국방송미디어공학회 학술발표대회 논문집
2022 .11
-
레이블 노이즈에 강건한 학습을 위한 교사-학생 모델 간 증류에서의 지식 정제 방법
한국정보과학회 학술발표논문집
2022 .06
-
Leveraging Synthetic Data for Data-Free Knowledge Distillation
한국정보과학회 학술발표논문집
2024 .12
-
지식 증류 모델의 정보 수용 한계에 의한 성능 불안정 현상 탐색
한국정보과학회 학술발표논문집
2024 .06
-
지식의 증류기법을 이용한 샷 경계 검출 모델
한국방송미디어공학회 학술발표대회 논문집
2019 .06
-
모델 내부/외부 특징량 상관 학습을 통한 지식 증류
한국컴퓨터정보학회논문지
2023 .04
-
지식증류기법을 적용한 드론의 경량화 사람 탐지 모델
한국정보과학회 학술발표논문집
2023 .06
-
다중 스케일 특징맵 지식 증류를 통한 3D 객체 검출
한국컴퓨터정보학회논문지
2024 .10
-
추천 시스템을 위한 지식 증류 기술
정보과학회지
2021 .03
-
음성 인식 모델 경량화를 위한 Teacher Decoder 재사용 기반 지식 증류 기법
한국통신학회 학술대회논문집
2025 .02
-
규제화된 지식 증류기법 (Knowledge Distillation)을 이용한 네트워크 압축
한국정보과학회 학술발표논문집
2019 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
다수의 마이크로그리드 사업자가 활용 가능한 분산발전 자원 관리 시스템 개발
박희정
,
김준성
,
최승환
외 1명
대한전기학회 학술대회 논문집
2016
.05
마이크로 그리드 기술을 활용한 신재생 에너지 예측모델
장진규
,
강문식
대한전자공학회 학술대회
2016
.11
지자기 센서 왜곡 보정을 위한 두 기법의 성능 비교
홍근웅
,
이상철
,
이석태
외 3명
한국항공우주학회 학술발표회 초록집
2022
.11
시각장애인을 위한 음성인식 키오스크 앱 개발
김미진
,
유채원
,
박휘진
외 2명
정보과학회 컴퓨팅의 실제 논문지
2020
.07
GPS와 지자기 센서를 이용한 외부환경에서의 이동로봇 제어
김병관
,
김성주
,
김종수
외 2명
한국지능시스템학회 학술발표 논문집
2004
.10
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-089226955