도토리 줍는 개발자 감자
RuntimeError: CUDA error: device-side assert triggered 에러.. 본문
RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 1203754 closing signal SIGTERM
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -6) local_rank: 1 (pid: 1203755) of binary: /home/cvlab/anaconda3/envs/KDcross/bin/python
아무런 코드도 수정 안 했는데. 갑자기 저 에러가 뜨면서 실행이 안됨..;;
그래서 구글링을 해봤는데, Class 수 설정을 잘 못 했다니.. 뭐라니.. 근데 난 코드를 아무것도 수정하지 않았음.
그런 경우, 현재 실행하고자 하는 conda 가상환경을 실행하고 있는 다른 프로그램이 있는지 확인해보기..!
나는 pycharm에서 conda 가상환경인 conda1을 쓰고있었는데,
동시에 그냥 뭐 테스트 해본다고 terminal로 conda1가상환경 접속해서 뭐 확인하고 있었음.
이 terminal 창 닫으니까 코드 실행 됐음..
결론: 실행하고자 하는 프로젝트 말고 다른 콘다 가상환경 실행 프로그램이 있다면 다 닫아라
아니면
https://jimoo-vision.tistory.com/35
[CUDA error 해결하기] RuntimeError: CUDA error: out of memory / For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
학습시킨 모델 test 코드가 이전까지 잘 돌아가다가 잠깐 밥먹고 왔는데 갑자기 안돌아감....................... 근데 이전엔 잘 돌아갔는데?!? 변경한 코드도 없는데??????? 아래 두 가지 에러가 번갈아
jimoo-vision.tistory.com
이 방법으로 다른거 다 죽여주면 됨
'컴퓨터비전관련' 카테고리의 다른 글
| pycharm sh file 디버깅 방법 (1) | 2022.09.27 |
|---|---|
| Loss nan 값 나올 때 (0) | 2022.09.27 |
| [CUDA error 해결하기] RuntimeError: CUDA error: out of memory / For debugging consider passing CUDA_LAUNCH_BLOCKING=1. (1) | 2022.04.14 |
| GPU-accelerated real-time stixel computation: 설명과 코드실행까지! - jimoo (0) | 2021.06.24 |
| [CMake] ubuntu 18.04 CMake install error - jimoo (3) | 2021.05.03 |
