AI 훈련과 추론 워크로드 운영 팁! GKE와 Slurm을 활용한 하이브리드 전략
요즘 AI 인프라 관련 소식에서 자주 보이는 단어가 있습니다. 바로 추론(Inference)입니다. 몇 년 전만 해도 AI 인프라와 늘 짝지어 다니던 단어는 훈련(Tanning)이었습니다. 요즘은 훈련보다 추론이 더 많이 보이고 있는데요. 그 이유는 다름 아니라 AI가 이제 본격적으로 사내, 대외 서비스에 적용되기 시작했다는 것입니다. 훈련, 최적화를 마친 모델을 프로덕션 환경에 배포해 서빙하는 곳이 많다 보니 자연스럽게 관심사가…