Subscribe to SOOFTWARE

Stay up to date! Get all the latest & greatest posts delivered straight to your inbox

huggingface

A collection of 2 posts

TUNiB Electra 공개 cover image
huggingface, nlp, record, 

TUNiB Electra 공개

이번에 저희 튜닙에서 공들여 만든 TUNiB Electra 모델을 공개했습니다 !! 🎉 🎉 이번 공개에서는 한-영 bilingual 모델과 한국어 모델을 각각 Small/Base 사이즈로 공개했으며, HuggingFace transformers…

Sooftware NLP - Hugging Face Tokenizers cover image
huggingface, nlp, 

Sooftware NLP - Hugging Face Tokenizers

최근 NLP 토크나이저를 만드는데 가장 많이 사용되는 라이브러와 실제 사용이 가장 많이 되는 라이브러리로의 변환에 대한 코드를 담고 있습니다. 해당 내용은 버젼에서 수행되었습니다. Train 아래 코드는 wordpiece, char-bpe…