권기준의 개발일지

Triton Inference Server란? Triton Inference Server(이하 trtis)는 NVIDIA의 모델 추론용 오픈 소스 서버 프레임워크이다. 공식 홈페이지에서 소개 중인 이점은 아래와 같다. 1. 다수의 프레임워크 지원 tensorflow, PyTorch, TensorRT, onnx 등 범용적인 모델 프레임워크들부터 Python 백엔드를 통한 자유로운 커스텀까지. 2. 고성능 추론 C++ 기반이라 python 기반 inference보다 더 빠름 단일 GPU에서 여러 모델을 효율적으로 굴릴 수 있도록 설계되어 있음 다이나믹 배칭을 통해 지연 시간을 최소화 및 추론 시간을 최적화할 수 있음 ensemble 기능을 지원, 모델 파이프라인을 효율적으로 설계 가능 3. DevOps와 M..

발단과 전개 Triton Inference Server - python backend에서 로깅 목적으로 문자열을 출력하려니 다음과 같은 오류가 뜬다. triton inference server UnicodeEncodeError: 'ascii' codec can't encode character '\xb6' in position 702: ordinal not in range(128) "\xb6" 은 "¶" 이 문자다. 해결 방법 조금 찾아보니, 다음과 같은 이슈를 찾을 수 있었다. https://github.com/triton-inference-server/server/issues/4708 can't print chinese in Python backend · Issue #4708 · triton-infe..