tensorflow-gpu 버전을 설치한 후 실행환경에서 GPU를 잡고 있는지 확인할 수 있는 방법을 정리해보겠습니다. 1) tensorflow 내에서 확인 ># python3 >>> from tensorflow.python.client import device_lib >>> device_lib.list_local_devices() ... 아래와 같이 GPU가 뜨는 것을 확인할 수 있습니다. 2) nvidia-smi로 확인 terminal 창에서 nvidia-smi를 입력하면 python3 process가 GPU를 잡고 있는 것을 확인할 수 있습니다.
이전 글에서 BERT 후속 연구를 소개하였습니다. T5는 모든(!) NLP task에 대해서 실험을 진행하였고 준수한 성능을 보이고 있으나, T5가 등장한 leaderboard는 몇개 안되는거 같습니다. 그래도 T5 연구가 효과적임을 보여주는 leaderboard가 하나 있으니.. 바로 여러 NLP task를 묶어 모델을 평가하는 SuperGLUE 데이터셋에서 당당히 1위를 찍었습니다. 글의 순서는 다음과 같습니다. Intro Basic Setup: 모델과 사용 데이터 설명 Experiments: 모델 크기 변경, Unsupervised Training Variations, Pre-training에 사용된 데이터셋 등을 설명 Reflection: 고찰 본 포스팅에서는 Intro와 Basic Setup을 ..
$ sudo apt-get purge nvidia* $ sudo apt-get autoremove $ sudo apt-get autoclean $ sudo rm -rf /usr/local/cuda* /usr/local 폴더에서 cuda 폴더가 제대로 삭제되어 있는 것을 확인할 수 있습니다.
다 설치한 후 python3에서 아래 명령어로 GPU device가 tensorflow에서 잘 불러와지는지 확인해봤습니다. [tensorflow에서 GPU 확인하는 간단한 방법] sess = tf.Session(config=tf.ConfigProto(log_device_placement=True)) # python3 Python 3.7.5 (default, Apr 5 2020, 15:53:27) [GCC 7.5.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import tensorflow as tf >>> tf.__version__ '1.14.0' >>> sess = tf.Session(confi..
GPU 드라이버 설치한 후 tensorflow 개발 환경을 구축해보려고 합니다. 설치환경은 다음과 같아요 운영 체제(OS): Ubuntu 18.04 그래픽 카드(GPU): GeForce RTX 2060 super CUDA 10.0 cuDNN 7.4 Python 3.7 tensorflow-gpu-1.14 1. NVIDIA 그래픽 드라이버 확인 nvidia-smi -q | grep Product 명령어로 GPU 드라이버 설치된 것을 확인해볼 수 있습니다. $ nvidia-smi -q | grep Product Product Name : GeForce RTX 2060 SUPER Product Brand : GeForce 2. CUDA 설치 CUDA, cuDNN을 설치해줘야 합니다. tensorflow, ten..
GPU를 받았습니다. 컴퓨터 선이 케이블로 정리가 빡세게 되어있어서 선 다 끊고 메인보드에 연결하고 전원선 연결한 후 드라이버를 설치했습니다. Ubuntu: LTS 18.04 GPU: GEFORCE RTX 2060 super 설치하는 방법에는 크게 두 가지가 있습니다. (1) 드라이버를 직접 찾고 원하는 버전을 설치하는 방법과 (2) 자동으로 설치해주는 방법이 있는데 둘 다 소개하고자 합니다. 1. 드라이버 검색 및 지정하여 설치 그래픽카드 정보, 드라이버 정보 확인 아래 명령어로 그래픽 카드 정보를 확인해보겠습니다. $ lshw -C display WARNING: you should run this program as super-user. *-display description: VGA compatib..
NLP 분야에서 BERT는 거의 모든 task들에 대한 성능 향상을 보여주었고, 몇몇 task에 대해서는 Human Performance를 뛰어넘기도 하였다. 또한 Pre-training Large Model + Transfer Learning이 NLP 연구에서 제일 효과적임을 보여주었고, 대부분의 자연어 처리 관련 연구들이 BERT로 인해 딥러닝 쪽으로 방향을 잡아나가고 있다. BERT가 정말 대단하다고 생각이 들었고 과연 이러한 성능 향상을 보여줄 수 있는 연구가 또 나올까 싶은 찰나, 구글은 BERT를 발표한지 단 1년 만에 후속 연구인 T5 모델을 발표하였다. 이후 2019년 말~2020년 초중반에 발표되는 NLP 논문들 중 T5를 benchmark로 사용한 논문들이 계속 등장하였고, 논문을 읽어..
