개발환경/Docker 3

[Docker] Docker를 이용한 모델 학습 루틴, image 관리 (2022 이전)

1. docker 파일로 image생성 또는 docker pull docker build -t : or docker login docker pull : docker image tag : : image 이름은 docker hub에서 관리할 수 있도록 : 를 사용한다. 2. Screen 생성 또는 attach screen -S or screen -r 3. 가상터미널에서 docker run nvidia-docker run -v -it --shm-size 100G --name --rm : /bin/bash 4. container에 설치할 것 더 있으면 설치 pip install 5. 모델학습 sh train.sh or CUDA_VISIBLE_DEVICES=0,1,2,3 python ~.py ~ 6. image ..

개발환경/Docker 2022.06.19

[Docker] Docker 컨테이너에서 Tensorboard 사용하기

Tensorboard에 log 기록 (Pytorch) 1. Docker image에 tensorboard 설치 pip install tensorboardX 2. 모델 학습하면서 log 기록 # SummaryWriter import from tensorboardX import SummaryWriter # train_log_dir : log 저장 장소 train_writer = SummaryWriter(logdir=train_log_dir) ##### 학습 중 log 저장 ##### # ex train_writer.add_scalar('lr', optim.param_groups[0]['lr'], epoch) train_writer.add_scalar('val_psnr', mean_psnr, epoch) tr..

개발환경/Docker 2022.06.18

[Docker] 모델 학습을 위한 명령어 정리

Container Container 확인 nvidia-docker ps # 현재 사용하고 있는 container확인 Container attach sudo docker attach Container 삭제 sudo docker rm Image docker파일로 image 생성 docker build -t : # tag 지정 안하면 자동으로 latest로 됨 docker파일 예시 FROM pytorch/pytorch:1.4-cuda10.1-cudnn7-devel MAINTAINER (이름) RUN apt-get update RUN apt-get install -y wget RUN apt-get install -y tmux RUN apt-get install -y reptyr RUN pip install te..

개발환경/Docker 2022.05.17