환경설정 log (4) 썸네일형 리스트형 Pocketflow Multi-GPU 환경 세팅 with Docker (1) Pocketflow 에서 Multi-GPU를 돌리기 위해서는 docker / seven 환경을 이용해야 한다고 되어 있다. 그러나, seven 은 Pocketflow를 개발한 tecent의 내부 tool을 이용하기 때문에 실제로는 사용할 수 없다. 따라서 본 포스팅은 docker 를 활용하여 multi-gpu 버전 pocketflow 환경을 세팅하는 과정을 서술한다. docker는 일종의 가벼운 VM인데, 이에 대해 설명하려면 포스팅이 너무 길어지므로 docker에 대하여 어느정도 알고 있다고 가정하고 서술하였다. 본격적인 설명 전에 짚고 넘어가야 하는 부분이 있다. Pocketflow의 Tutorial site는 현재 시점(2019-12-27)에서는 참고할 만한 것이 못된다. Pocketflow 개발사.. Horovod + tensorflow 설치 및 세팅까지 (1) 필요한 framework에서 Multi-Gpu 환경을 돌리려던 중, Horovod라는 것을 사용한다고 하여 알아보기 시작하였다. 본 포스팅에서는 Horovod가 무엇이고 왜 생겼는지를 정리하였다. 구체적인 세팅은 다음 포스팅에 적을 예정이다. Horovod란, AI/딥러닝 커뮤니티 중 하나인 LF AI Foundateion(이후 LF AI)에서 만든 오픈 소스 프로젝트이다. 그럼 얘가 도대체 왜 생긴걸까? 한마디로 정리하자면, 좀더 쉽고 빠른 training 을 위해서이다. Horovod는 single-GPU TF 프로그램을 "distributed" mode로 바꾸어 다수 GPU에서 training시키는 것을 목적으로 한다. 이때, 프로그램을 "distributed" 하게 만든다고 할 때 새로 대두되는 .. mpi4py 오류 해결 log PocketFlow 에 필요한 mpi4py >= 3.0 을 설치하려다 오류가 발생하여 해결하는 과정을 log 로 남기려 한다. anaconda environment에서 발생 ERROR: Command errored out with exit status 1: command: /home/**/.conda/envs/pocketflow/bin/python -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-u6ash82_/mpi4py/setup.py'"'"'; __file__='"'"'/tmp/pip-install-u6ash82_/mpi4py/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'".. retinaNet-tensorflow 세팅 log RetinaNet tensorflow 세팅 log 다음 환경을 세팅하는 것을 목표로 한다 ## Requirements Python 3.5 ``` numpy==1.15.1 matplotlib==2.0.2 opencv-python==3.3.0.10 tensorflow-gpu == 1.10.1 ############## driver, cuda, cudnn, anaconda, opencv 는 설치되어 있는 상태 $conda create -n retina_tf python==3.5 $pip install --upgrade pip $pip install tensorflow-gpu $pip install opencv-python [Trouble Shooting 1] FutureWarning: Passing (type.. 이전 1 다음
