지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.46 No.12
- 발행연도
- 2019.12
- 수록면
- 1,304 - 1,313 (10page)
- DOI
- 10.5626/JOK.2019.46.12.1304
이용수
초록· 키워드
오류제보하기
본 논문에서는 영상 기반 대화를 위한 새로운 모듈 신경망 모델을 제안한다. 영상 기반 대화는 몇 가지 어려운 도전적 과제를 가지고 있다. 첫 번째는 자연어 질문에서 언급하는 개체들을 주어진 입력영상의 어떤 물체들과 연관 지어 이해해야 하는가에 관한 시각적 접지 문제이다. 그리고 두 번째는 새로운 질문에 포함된 명사구나 대명사가 과거 질문이나 답변에 등장하는 어떤 개체를 가리키며, 결국 입력영상의 어떤 물체를 의미하는 지를 알아내는 시각적 상호 참조 해소 문제이다. 이러한 문제들을 해결하고자, 본 논문에서는 질문 맞춤형 모듈 신경망과 참조 풀을 이용하는 새로운 영상 기반 대화 모델을 제안한다. 본 논문의 제안 모델은 비교 질문들에 효과적으로 답하기 위한 새로운 비교 모듈을 포함 할뿐만 아니라, 이중 주의 집중 메커니즘을 적용해 성능을 향상시킨 새로운 탐지 모듈, 참조 풀을 이용해 시각적 상호참조를 해소하는 참조 모듈 등을 포함한다. 제안 모델의 성능 평가를 위해, 대규모 벤치마크 데이터 집합인 VisDial v0.9와 VisDial v1.0을 이용한 다양한 실험들을 수행하였다. 그리고 이 실험들을 통해, 기존의 최신 영상 기반 대화 모델들에 비해 본 논문에서 제안한 모델의 더 뛰어난 성능을 확인할 수 있었다.
목차
요약
Abstract
1. 서론
2. 관련연구
3. 모듈 신경망 모델
4. 구현 및 실험
5. 결론
References
참고문헌 (16)
참고문헌 신청
A. Agrawal, J. Lu, S. Antol, M. Mitchell, C. L. Zitnick, D. Parikh, and D. Batra, "VQA: Visual Question Answering," International Journal of Computer Vision, Vol. 123, No. 1, pp. 4-31, May. 2017.
A. Das, S. Kottur, K. Gupta, A. Singh, D. Yadav, J. M.F. Moura, D. Parikh, D. Batra, "Visual Dialog," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 326-335, 2017.
Z. Yang, X. He, J. Gao, L. Deng, A. Smola, "Stacked Attention Networks for Image Question Answering," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 21-29, 2016.
H. Xu, K. Saenko, "Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering," Proc. of the European Conference on Computer Vision (ECCV), pp. 451-466, 2016.
Lu, J. Yang, D. Batra, D. Parikh, "Hierarchical Question-Image Co-Attention for Visual Question Answering," Proc. of the Neural Information Processing Systems (NIPS), pp. 289-297, 2016.
A. Das, S. Kottur, K. Gupta, A. Singh, D. Yadav, J. M.F. Moura, D. Parikh, D. Batra, "Visual Dialog," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 326-335, 2017.
Z. Yang, X. He, J. Gao, L. Deng, A. Smola, "Stacked Attention Networks for Image Question Answering," Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 21-29, 2016.
H. Xu, K. Saenko, "Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering," Proc. of the European Conference on Computer Vision (ECCV), pp. 451-466, 2016.
Lu, J. Yang, D. Batra, D. Parikh, "Hierarchical Question-Image Co-Attention for Visual Question Answering," Proc. of the Neural Information Processing Systems (NIPS), pp. 289-297, 2016.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
영상 기반 대화를 위한 모듈 신경망
한국정보과학회 학술발표논문집
2019 .06
-
시각 대화의 시각 참조 해결을 위한 순차적 주의기반 신경망
한국정보과학회 학술발표논문집
2019 .06
-
Image Understanding for Visual Dialog
JIPS(Journal of Information Processing Systems)
2019 .01
-
자동 회귀 기반 시각 대화 생성 기법
한국정보과학회 학술발표논문집
2022 .06
-
시각기능 개선을 위한 시기능훈련이 시지각에 미치는 영향
한국안광학회지
2015 .12
-
[TECH REPORT] 뇌의 시각 정보 처리의 심층 신경망 모델
자동화기술
2024 .02
-
빛의 비시각적 효과
조명·전기설비
2019 .03
-
Human Visual System에 적응적인 영상 화질 향상 기법
한국방송미디어공학회 학술발표대회 논문집
2016 .11
-
Modeling of Visual Attention Probability for Stereoscopic Videos and 3D Effect Estimation Based on Visual Attention
Journal of KIISE
2015 .05
-
시각 대화를 위한 멀티모달 그래프 컨볼루션망
한국정보과학회 학술발표논문집
2019 .12
-
Visual Scene Understanding with Contexts
Journal of KIISE
2018 .12
-
이미지 질의응답을 위한 사람과 기계의 시각적 주의 집중 분석
한국정보과학회 학술발표논문집
2020 .07
-
Visual Commonsense Reasoning with Vision-Language Co-embedding and Knowledge Graph Embedding
Journal of KIISE
2020 .10
-
객체 인식용 깊은 신경망을 활용한 실시간 영상 얼굴 비식별화 응용 연구
한국통신학회 학술대회논문집
2019 .06
-
360도 영상 내 객체의 속성에 따른 시각적 관심지도 생성
한국통신학회 학술대회논문집
2020 .02
-
영상 기반 위치 인식을 위한 대규모 언어-이미지 모델 기반의 Bag-of-objects 표현
센서학회지
2024 .03
-
가상현실 HMD기기의 시각체계 분석을 위한 시각 알고리즘 구축－미디어 아트에서 나타나는 인터렉티브형 시각체계 분석을 통해－
멀티미디어학회논문지
2020 .05
-
지역 특징 강화 모듈을 활용한 순환신경망 기반의 다중 노출 영상 융합 기법
대한전자공학회 학술대회
2022 .06
-
합성곱 신경망과 영상 개선 신경망을 이용한 저해상도 영상 객체 인식
한국정보과학회 학술발표논문집
2017 .12
-
음성 대화 시스템을 위한 심층 학습 기반 자연어 생성 기술
정보과학회지
2021 .04
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0