지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.8
- 수록면
- 866 - 874 (9page)
- DOI
- 10.9717/kmms.2024.27.8.866
이용수
초록· 키워드
오류제보하기
With the recent increase in video content consumption, the importance of technology that automatically detects violent scenes has grown. In this paper, we propose a multimodal approach that integrates visual, audio, and textual information to overcome the limitations of previous studies that primarily relied on visual data. We extend the TEVAD model, a dual-modal model utilizing visual and textual information, by incorporating multimodal data that includes visual, audio, and textual inputs. We conducted experiments on various feature fusion methods using the XD-Violence dataset, which includes audio information for violence detection. The experimental results demonstrate that the proposed multimodal approach achieves an average precision (AP) of 82.2%, outperforming single-modal (visual: 75.6%, audio: 64.3%, textual: 28.4%) and dual-modal approaches (visual+audio: 80.7%, visual+textual: 78.0%). These results indicate that the multimodal approach is more effective in enhancing violence detection performance compared to traditional single and dual-modal approaches.
목차
ABSTRACT
1. 서론
2. 관련 연구
3. 제안하는 시스템
4. 실험 결과 및 고찰
5. 결론
REFERENCE
참고문헌 (21)
참고문헌 신청
S. Lee, Y. Kim, S. Kang, and M. Park, “Research on Intelligent Anomaly Detection System Based on Real-Time Unstructured Object Recognition Technique,” Journal of Korea Multimedia Society, Vol. 25, No. 3, pp. 546-557, 2022.
W. Sultani, C. Chen, and M. Shah, “Real-World Anomaly Detection in Surveillance Videos,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6479-6488, 2018.
J.X. Zhong, N. Li, W. Kong, S. Liu, T.H. Li, and G. Li, “Graph Convolutional Label Noise Cleaner: Train a Plug-and-Play Action Classifier for Anomaly Detection,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1237-1246, 2019.
Y. Tian, G. Pang, Y. Chen, R. Singh, J.W. Verjans, and G. Carneiro, “Weakly-Supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning,” Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4975-4986, 2021.
W. Chen, K.T. Ma, Z.J. Yew, M. Hur, and D.A.A. Khoo, “TEVAD: Improved Video Anomaly Detection with Captions,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5549-5559, 2023.
W. Sultani, C. Chen, and M. Shah, “Real-World Anomaly Detection in Surveillance Videos,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6479-6488, 2018.
J.X. Zhong, N. Li, W. Kong, S. Liu, T.H. Li, and G. Li, “Graph Convolutional Label Noise Cleaner: Train a Plug-and-Play Action Classifier for Anomaly Detection,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1237-1246, 2019.
Y. Tian, G. Pang, Y. Chen, R. Singh, J.W. Verjans, and G. Carneiro, “Weakly-Supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning,” Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4975-4986, 2021.
W. Chen, K.T. Ma, Z.J. Yew, M. Hur, and D.A.A. Khoo, “TEVAD: Improved Video Anomaly Detection with Captions,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5549-5559, 2023.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Deep Learning Based Data Fusion Methods for Multimodal Emotion Recognition
한국통신학회논문지
2022 .01
-
대조 학습을 통한 비디오 이상 탐지를 위한 시각적 특징과 텍스트 특징 정렬
대한전자공학회 학술대회
2024 .06
-
음성-시각-언어 정보를 활용한 행위자 중심 융합 기반 비디오 행동 검출
한국자동차공학회 추계학술대회 및 전시회
2024 .11
-
Multimodal Representation Fusion for On-Device Learning
한국정보과학회 학술발표논문집
2022 .06
-
A Comparative Study of Audio Feature Extraction Techniques for Audio-Visual Event Localization
제어로봇시스템학회 국내학술대회 논문집
2023 .06
-
이미지-텍스트-오디오 멀티모달 학습 기반의 비디오 데이터 감성분석
한국정보과학회 학술발표논문집
2024 .06
-
음성특징의 다양한 조합과 문장 정보를 이용한 감정인식
한국방송미디어공학회 학술발표대회 논문집
2019 .11
-
Analysis of the Effects of Cross-Attention and Multimodal Inputs on Robotic Assembly Tasks
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
Multimodal Data Integration for Disease Diagnosis
한국정보통신학회 종합학술대회 논문집
2024 .05
-
멀티모달 대형 언어 모델을 활용한 객체 분류의 접근 연구
대한전자공학회 학술대회
2024 .11
-
Adaptive Multimodal In-Vehicle Information System for Safe Driving
[ETRI] ETRI Journal
2015 .06
-
Multimodal 센서를 이용한 웨어러블 헬스케어 장치
제어로봇시스템학회 국내학술대회 논문집
2018 .05
-
AI Computer Vision and Multimodal Research for Industrial R&D
한국방송미디어공학회 학술발표대회 논문집
2024 .06
-
영상 하이라이트 탐지를 위한 감정 기반 멀티모달 학습 모델
한국정보과학회 학술발표논문집
2023 .06
-
비디오 영상에서의 군중 폭력행위 검출
한국정보과학회 학술발표논문집
2015 .12
-
Implementation and Evaluation of Harmful-Media Filtering Techniques using Multimodal-Information Extraction
Journal of information and communication convergence engineering
2023 .03
-
[박사학위논문소개] 멀티모달 퓨전 모델을 활용한 음영 교통정보 추정
교통기술과정책
2024 .06
-
감정인식에서의 문맥정보와 음성 정보를 이용한 멀티모달 프롬프트 러닝
한국정보과학회 학술발표논문집
2023 .06
-
심층 시청각 복합 학습을 이용한 새로운 유튜브 조회수 예측 기법
한국정보과학회 학술발표논문집
2019 .06
-
HFAD: 공정한 연합학습 및 하이브리드 융합 멀티모달 산업 이상 탐지
한국정보통신학회논문지
2024 .07
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-090654296