vLLM 서버로 고성능 모델 벤치마킹하기: Evalchemy 완벽 실전 가이드
vLLM 서버와 Evalchemy를 연동하여 대규모 언어 모델을 효율적으로 평가하는 방법과 50+ 벤치마크 태스크 총정리
Thaki Cloud | ThakiCloud 기술 블로그 - AI/ML Engineering & DevOps
최근 포스트
로컬 LM Studio 모델을 API처럼 벤치마킹하기: Evalchemy + LiteLLM 완벽 가이드
LM Studio와 Evalchemy를 연동하여 로컬 언어 모델을 OpenAI API처럼 간편하게 평가하는 방법
Apple Container 완전 가이드: Apple Silicon 최적화 컨테이너 도구
Swift로 작성된 Apple의 네이티브 컨테이너 도구로 경량 가상화와 OCI 호환성을 제공하는 완벽한 가이드
NVIDIA DGX Cloud Lepton: 클라우드 인프라 회사가 알아야 할 새로운 GPU 마켓플레이스
NVIDIA가 직접 운영하는 통합 AI 플랫폼 DGX Cloud Lepton의 기술적 특징과 클라우드 인프라 회사의 참여 전략을 분석합니다.
Kubernetes 환경에서 Prometheus와 Grafana로 모니터링 시스템 구축하기
Kubernetes 클러스터의 효율적인 운영을 위해서는 노드, 파드, 컨테이너 수준의 상세한 모니터링이 필수입니다. Prometheus와 Grafana를 활용해 K8s 환경에서 완전한 모니터링 시스템을 구축하는 방법을 단계별로 안내합니다.