RuntimeError: CUDA error: device-side assert triggered 에러..

RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 1203754 closing signal SIGTERM
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -6) local_rank: 1 (pid: 1203755) of binary: /home/cvlab/anaconda3/envs/KDcross/bin/python

 

 

아무런 코드도 수정 안 했는데. 갑자기 저 에러가 뜨면서 실행이 안됨..;;

그래서 구글링을 해봤는데, Class 수 설정을 잘 못 했다니.. 뭐라니.. 근데 난 코드를 아무것도 수정하지 않았음.

 

 

그런 경우, 현재 실행하고자 하는 conda 가상환경을 실행하고 있는 다른 프로그램이 있는지 확인해보기..!

 

나는 pycharm에서 conda 가상환경인 conda1을 쓰고있었는데,

동시에 그냥 뭐 테스트 해본다고 terminal로 conda1가상환경 접속해서 뭐 확인하고 있었음.

 

이 terminal 창 닫으니까 코드 실행 됐음..

 

 

결론: 실행하고자 하는 프로젝트 말고 다른 콘다 가상환경 실행 프로그램이 있다면 다 닫아라

 

아니면

https://jimoo-vision.tistory.com/35

[CUDA error 해결하기] RuntimeError: CUDA error: out of memory / For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

이 방법으로 다른거 다 죽여주면 됨