[transformers] tokenizer 결과

huggingface 라이브러리에서 제공하는 tokenizer 결과를 정리해본다. kakaobrain의 KOGPT모델을 사용하였다.

 

0. Tokenizer

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM 

tokenizer = AutoTokenizer.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',  # or float32 version: revision=KoGPT6B-ryan1.5b
  bos_token='[BOS]', eos_token='[EOS]', unk_token='[UNK]', pad_token='[PAD]', mask_token='[MASK]'
)

 

1. Tokenizer 결과

tokenizer('점심메뉴 추천좀')

>>>>
{'attention_mask': [1, 1, 1, 1],
 'input_ids': [29496, 15615, 3458, 7671],
 'token_type_ids': [0, 0, 0, 0]}

tokenizer('점심메뉴 추천좀', '부대찌개 추천')

>>>>
{'attention_mask': [1, 1, 1, 1, 1, 1, 1],
 'input_ids': [29496, 15615, 3458, 7671, 7023, 16877, 3458],
 'token_type_ids': [0, 0, 0, 0, 1, 1, 1]}

tokenizer(['점심메뉴 추천좀', '부대찌개 추천'])

>>>>
{'attention_mask': [[1, 1, 1, 1], [1, 1, 1]],
 'input_ids': [[29496, 15615, 3458, 7671], [7023, 16877, 3458]],
 'token_type_ids': [[0, 0, 0, 0], [0, 0, 0]]}

tokenizer.encode('점심메뉴 추천좀')

>>>>
[29496, 15615, 3458, 7671]

tokenizer.encode_plus('점심메뉴 추천좀')

>>>>
{'attention_mask': [1, 1, 1, 1],
 'input_ids': [29496, 15615, 3458, 7671],
 'token_type_ids': [0, 0, 0, 0]}