지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.9
- 수록면
- 51 - 58 (8page)
- DOI
- 10.5573/ieie.2022.59.9.51
이용수
초록· 키워드
오류제보하기
복수개의 GPU로 구성된 GPU 클러스터 내부에서 보통 다수의 DNN 모델 학습 응용이 실행된다. 이러한 환경에서 GPU 자원의 총량이 모든 학습 응용들이 필요로 하는 자원의 총량 보다 적다면 GPU 자원을 차지하기 위한 응용 사이의 경쟁은 피할 수 없다. 이때 발생한 경쟁의 정도와 각 학습 응용들이 각각의 GPU를 활용하는 정도에 따라서 어떤 응용들은 빠른 시간 내에 학습을 완료하고 어떤 응용은 이보다 훨씬 긴 시간 동안 학습을 진행해야한다. 본 연구에서는 이렇게 공정하지 못하게 학습 응용들에게 GPU들이 할당되는 것을 해결하는 알고리즘을 제안한다. 현재 각 응용들의 GPU 자원 활용 상태를 기반으로 예측된 학습완료시간과 오프라인에서 각 응용들이 GPU를 독점해서 사용했을 때의 학습 완료 시간의 비율을 구해서 현재 그 응용의 현재 Slow-Down으로 정의한다. 현재 수행되는 학습 응용들의 Slow-Down 값이 비슷해지도록 각 학습 응용들의 GPU당 미니배치 데이터 비율을 주기적으로 조절하고 GPU 자원의 공정한 배분을 달성한다. 다양한 실험을 통하여 확인한 결과 최대 Slow-Down은 53%이상 감소하였고, 전체적인 GPU 활용율 역시 25% 증가하였다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 연구 배경
Ⅲ. 적응형 SD 기반 미니배치 재분배 기법
Ⅳ. 실험
Ⅴ. 결론
REFERENCES
참고문헌 (9)
참고문헌 신청
A. Paszke, S. Gross, F. Massa, A. Lerer, J. Bradbury, G. Chanan, T. Killeen, Z. Lin, N. Gimelshein, L. Antiga, A. Desmaison, A. Kopf, E. Yang, Z. DeVito, M. Raison, A. Tejani, S. Chilamkurthy, B. Steiner, L. Fang, J. Bai and S. Chintala, "Pytorch: An imperative style, high-performance deep learning library," in Proc. of Advances in Neural Information Processing Systems (NeurIPS), pp. 8024-8035, Vancouver, Canada, July 2019.
G. Huang, Z. Liu., L. Van Der Maaten and K. Q. Weinberger, "Densely connected convolutional networks," in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition(CVPR), pp. 2261-2269, Honolulu, July 2017.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition.," in Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, Las Vegas, Nevada, June 2016.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in Proc. of Advances in Neural Information Processing Systems (NIPS), pp. 1106-1114, Lake Tahoe, December 2012.
S. Xie, R. B. Girshick, P. Dollár, Z. Tu, and K. He, "Aggregated residual transformations for deep neural networks," in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition(CVPR) pp. 5987-5995, Honolulu, July 2017.
G. Huang, Z. Liu., L. Van Der Maaten and K. Q. Weinberger, "Densely connected convolutional networks," in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition(CVPR), pp. 2261-2269, Honolulu, July 2017.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition.," in Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, Las Vegas, Nevada, June 2016.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in Proc. of Advances in Neural Information Processing Systems (NIPS), pp. 1106-1114, Lake Tahoe, December 2012.
S. Xie, R. B. Girshick, P. Dollár, Z. Tu, and K. He, "Aggregated residual transformations for deep neural networks," in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition(CVPR) pp. 5987-5995, Honolulu, July 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
GPU 메모리 용량을 초과하는 위성영상의 GPU 기반 병렬처리
대한공간정보학회 학술대회
2020 .06
-
An Execution Planning Scheme for Computational Applications using Profiling of a CPU-GPU Container Cluster
Journal of KIISE
2019 .10
-
컨테이너 클라우드 기반 딥러닝 학습의 GPU 배치 기술 연구
대한전기학회 학술대회 논문집
2021 .10
-
효율적인 GPU 메모리 컨트롤러 설계를 위한 GPU 메모리 성능 분석 연구
한국통신학회 학술대회논문집
2015 .01
-
이기종 클러스터 환경의 딥러닝 응용을 위한 GPU 공유 기법 분석
정보과학회 컴퓨팅의 실제 논문지
2025 .01
-
GPU 기반 데이터 집약 시스템에 대한 비교연구
한국정보과학회 학술발표논문집
2018 .06
-
쿠다를 사용하여 GPU 리소스를 분배하는 지능형 얼굴 인식 및 트래킹 시스템
전기전자학회논문지
2018 .06
-
GPU 기반 클러스터의 데이터 전송 효율 향상에 대한 연구
한국통신학회 학술대회논문집
2015 .06
-
GPU 기반 분산 처리 환경에서의 딥 뉴럴 네트워크 성능 분석
한국정보과학회 학술발표논문집
2017 .06
-
국방정보시스템 성능향상을 위한 효율적인 GPU적용방안 연구
디지털산업정보학회논문지
2015 .01
-
Performance Analysis of Concurrent Multitasking for Efficient Resource Utilization of GPUs
Journal of KIISE
2021 .06
-
NVIDIA GPU 에서 측정 가능한 GPU 가속기 세부 성능지표 분석
한국통신학회 학술대회논문집
2022 .11
-
GPU 컴퓨팅 기술분석과 육성전략
한국정보과학회 학술발표논문집
2016 .12
-
GPU를 이용한 파일 유사도 시스템의 성능 분석
한국정보과학회 학술발표논문집
2015 .12
-
GPU를 이용한 보안 솔루션에 대한 조사
한국정보과학회 학술발표논문집
2017 .12
-
Multi-GPU에서 딥 뉴럴 네트워크 학습의 성능 확장성 탐구
한국정보과학회 학술발표논문집
2017 .06
-
GPU acceleration for geometric modeling
한국CDE학회 학술발표회 논문집
2015 .08
-
거대 언어 모델의 일괄 추론 수준에 따른 추론 시간, 정확도, 통신 및 GPU 메모리 점유량 비교분석
한국통신학회논문지
2024 .10
-
GPU 경합에 의한 크리티컬 태스크의 지연 시간을 단축하기 위한 GPU 커맨드 전송률 제어 기법
한국정보과학회 학술발표논문집
2018 .06
-
공학용 해석 소프트웨어의 GPU 가속화
한국전산유체공학회 학술대회논문집
2015 .10
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0