nlp, serving, Sooftware Serving - KernlSooftware Serving - Kernl ELS-RD (Lefebvre Dalloz Services) 라는 단체에서 Kernl 이라는 좋은 Inference Enginer을 내주었습니다! PyTorch 기반의 Transformer…
huggingface, nlp, serving, Sooftware Serving - Huggingface OptimumSooftware Serving - Huggingface Optimum 허깅페이스에서 나온 Transformers의 Extension 라이브러리이다. 목적은 모델 학습 및 인퍼런스를 더욱 빠르게 해주기 위한 라이브러리이다. Exporting…
nlp, serving, Sooftware Serving - Triton Inference ServerSooftware Serving - Triton Inference Server Triton Inference Server는 인공지능 모델의 인퍼런스를 도와주는 오픈소스 소프트웨어다. 다양한 프레임워크(TensorRT, TensorFlow…
