Study Note

삭제할 디렉터리로 이동 cd 현재 위치에서 하위 디렉터리의 특정 확장자 파일 모두 삭제 del /F /Q /S *.db 참고 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=sangrime&logNo=220618139726

1. docker 파일로 image생성 또는 docker pull docker build -t : or docker login docker pull : docker image tag : : image 이름은 docker hub에서 관리할 수 있도록 : 를 사용한다. 2. Screen 생성 또는 attach screen -S or screen -r 3. 가상터미널에서 docker run nvidia-docker run -v -it --shm-size 100G --name --rm : /bin/bash 4. container에 설치할 것 더 있으면 설치 pip install 5. 모델학습 sh train.sh or CUDA_VISIBLE_DEVICES=0,1,2,3 python ~.py ~ 6. image ..

Tensorboard에 log 기록 (Pytorch) 1. Docker image에 tensorboard 설치 pip install tensorboardX 2. 모델 학습하면서 log 기록 # SummaryWriter import from tensorboardX import SummaryWriter # train_log_dir : log 저장 장소 train_writer = SummaryWriter(logdir=train_log_dir) ##### 학습 중 log 저장 ##### # ex train_writer.add_scalar('lr', optim.param_groups[0]['lr'], epoch) train_writer.add_scalar('val_psnr', mean_psnr, epoch) tr..

참고: https://bio-info.tistory.com/42 Screen이란 Linux에서 독립적으로 동작하는 가상 터미널을 띄어주는 것. 백그라운드로 동작하는 가상 터미널이다. 스크린에서 명령어를 실행시키고 터미널을 꺼도 명령어가 백그라운드로 계속 돌아간다. 명령어를 실행시킨 뒤 터미널을 종료해도 나중에 screen으로 다시 접속하면 해당 터미널 그대로 작업을 이어갈 수 있다. 스크린 설치 apt-get install screen 스크린 생성 screen -S 스크린 attach screen -r 스크린 detach ctrl a+d 누르기 생성된 스크린 리스트 확인 screen -ls 스크린 삭제 screen -X -S kill 스크린 밖에서 스크린 강제 detach screen -r -d ​

참고 : https://velog.io/@ur-luella/tmux-%EC%82%AC%EC%9A%A9%EB%B2%95 리눅스에서 tmux를 이용하여 여러 창에서 서로 다른 프로세스 사용 가능하다. 리눅스 원격 연결이 꺼져도 tmux안에 프로세스는 다운되지 않는다. tmux 설치 apt-get install -y tmux 창 좌우로 나누기 ctrl + b 한 다음 % 창 상하로 나누기 ctrl + b 한 다음 " 창 나눈거 없애기 ctrl + d

프로세스명으로 PID 식별하기 ps -ef | grep Linux에서 pid 이용하여 프로세스 강제 종료 kill -15 pid kill -9 pid 특정 이름의 프로세스 모두 강제 종료 ps -ef | grep | awk '{print $2}' | xargs kill nohup 사용하기 nohup & GPU 확인 nvidia-smi GPU 실시간 확인 watch -n 1 nvidia-smi 경로 들어가기 cd 한 경로 나오기 cd .. 복사하기 cp 종속 파일까지 모두 복사 cp -r 파일 수 확인 ls -l | grep ^- | wc -l 현재 위치 파일 리스트 확인 ls 파일 제거 rm * # 현재 위치 파일 모두 제거 rm *.jpg # jpg 붙어있는거 다 지움 rm -rf # directory..

Container Container 확인 nvidia-docker ps # 현재 사용하고 있는 container확인 Container attach sudo docker attach Container 삭제 sudo docker rm Image docker파일로 image 생성 docker build -t : # tag 지정 안하면 자동으로 latest로 됨 docker파일 예시 FROM pytorch/pytorch:1.4-cuda10.1-cudnn7-devel MAINTAINER (이름) RUN apt-get update RUN apt-get install -y wget RUN apt-get install -y tmux RUN apt-get install -y reptyr RUN pip install te..

1. 가상환경 생성 conda create -n 가상환경이름 python=버전 # 가상환경 생성 conda env remove --n 가상환경이름 # 가상환경 제거 2. 가상환경 리스트 확인 conda env list 3. 가상환경 활성화 conda activate 가상환경이름 # 가상환경 활성화 conda deactivate # 가상환경 비활성화 4. pytorch, cuda 설치 https://pytorch.org/get-started/previous-versions/ 에서 환경에 맞는 설치 명령어 확인 conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch 5. cuda 버전 확인 nvc..