Category Archives: Kakao-Newsletter

BigQuery with the TimesFM foundation model Google Research에서 개발한 최신 시계열 예측 모델인 TimeFM은 4,000억 개에 달하는 방대한 실제 시점 데이터셋을 기반으로 사전 학습된 파운데이션 모델 주요 특징 제로샷(Zero-shot) 예측 : 학습되지 않은 데이터셋에서도 추가적인 훈련 없이 정확한 예측 수행 BigQuery ML 통합 : BigQuery의 기본 ML 모델로, 5억 개의 매개변수를 가지고 있으며 BigQuery 인프라에서…

GKE Inference Gateway을 통한 고성능 LLM 서빙 구현 GKE와 GKE Inference Gateway를 사용하여 고성능 LLM 서빙을 구현하고 AI관련 메트릭을 인식하는 스마트 라우팅을 통해 기존 로드밸런싱의 한계를 극복 합니다.   GKE Inference Gateway for LLM Serving 특장점 지능형 로드 밸런싱: KV-Cache 활용률과 같은 GPU 관련 메트릭을 포함한 백엔드 용량을 파악하여 요청을 최적화하여 라우팅 AI 인식 자원…