분류 전체보기

개발

Ubuntu 18.04 GPU 개발환경 세팅 (1)

2020.06.02

GPU를 받았습니다. 컴퓨터 선이 케이블로 정리가 빡세게 되어있어서 선 다 끊고 메인보드에 연결하고 전원선 연결한 후 드라이버를 설치했습니다. Ubuntu: LTS 18.04 GPU: GEFORCE RTX 2060 super 설치하는 방법에는 크게 두 가지가 있습니다. (1) 드라이버를 직접 찾고 원하는 버전을 설치하는 방법과 (2) 자동으로 설치해주는 방법이 있는데 둘 다 소개하고자 합니다. 1. 드라이버 검색 및 지정하여 설치 그래픽카드 정보, 드라이버 정보 확인 아래 명령어로 그래픽 카드 정보를 확인해보겠습니다. $ lshw -C display WARNING: you should run this program as super-user. *-display description: VGA compatib..

논문 및 개념 정리

Exploring Transfer Learning with T5 : the Text-To-Text Transfer Transformer (1)

2020.06.01

NLP 분야에서 BERT는 거의 모든 task들에 대한 성능 향상을 보여주었고, 몇몇 task에 대해서는 Human Performance를 뛰어넘기도 하였다. 또한 Pre-training Large Model + Transfer Learning이 NLP 연구에서 제일 효과적임을 보여주었고, 대부분의 자연어 처리 관련 연구들이 BERT로 인해 딥러닝 쪽으로 방향을 잡아나가고 있다. BERT가 정말 대단하다고 생각이 들었고 과연 이러한 성능 향상을 보여줄 수 있는 연구가 또 나올까 싶은 찰나, 구글은 BERT를 발표한지 단 1년 만에 후속 연구인 T5 모델을 발표하였다. 이후 2019년 말~2020년 초중반에 발표되는 NLP 논문들 중 T5를 benchmark로 사용한 논문들이 계속 등장하였고, 논문을 읽어..

Ubuntu 18.04 GPU 개발환경 세팅 (1)

Exploring Transfer Learning with T5 : the Text-To-Text Transfer Transformer (1)

티스토리툴바