생성형 AI 기술이 비즈니스 전반에 혁신을 가져오면서, 많은 기업이 거대 언어 모델(LLM)을 활용해 새로운 가치를 창출하고 있습니다. 초기에는 범용 모델 하나로 모든 문제를 해결하려 했지만, 점차 비즈니스의 구체적인 요구 사항에 맞춰 최적화된 여러 모델을 활용하는 전략으로 전환하는 추세입니다. 용도와 목적에 맞게 여러 모델을 조직에서 활용하는 전략이 가능해진 배경에는 ‘미세조정(Fine-tuning)’ 기술의 발전이 자리하고 있습니다. 미세조정이란 범용…
오늘날 소프트웨어 개발에서 컨테이너화는 필수라 할 수 있습니다. 컨테이너가 주류 기술로 자리 잡은 이유는 단순히 애플리케이션을 패키징하는 새로운 방법을 제시했기 때문만은 아닙니다. 이는 컨테이너가 개발부터 배포, 운영까지 소프트웨어 수명 주기 전반의 근본적인 문제들을 해결하는 미래지향적인 솔루션이기 때문입니다. 여기에 이견을 다는 이는 없을 것입니다. 그 이유를 컨테이너의 핵심 가치를 통해 짚어 보겠습니다. 컨테이너의 핵심 가치 컨테이너의…
구글 클라우드 GKE 팀이 정리한 이달의 GKE 주요업데이트 내용을 알려드리고자 합니다. LLM 트래픽 관리를 위한 GKE 추론 게이트웨이 새롭게 선보이는 GKE 추론 게이트웨이는 GKE Gateway의 확장 기능으로 생성형 AI 워크로드를 효율적으로 서빙하도록 설계되었습니다. 이 솔루션은 긴 연결 시간이나 예측 불가능한 응답 패턴 같은 LLM 트래픽 고유의 특성을 효과적으로 관리합니다. GKE 추론 게이트웨이는 LLM 트래픽…
Overview 복잡한 어플리케이션 배포와 운영을 더욱 쉽게 만들어줄 Google Kubernetes Engine에 관한 기초 교육에 여러분을 초대합니다! 이번 과정에서는 Google Cloud에 대해 기본적인 사항을 소개한 후 컨테이너 및 Kubernetes, Kubernetes 아키텍처, Kubernetes 작업에 관해 설명합니다. 이를 통해 여러분은 GKE로 불리는 Google Kubernetes Engine의 기본사항을 완벽히 이해하고 Google Cloud에서 애플리케이션을 컨테이너화하고 실행하는 방법을 알게 될 수 있습니다.…
Google Cloud는 Hugging Face에서 제공하는 다양한 AI 모델들을 Cloud Run과 GKE라는 서비스를 통해 간편하게 사용할 수 있도록 지원합니다. 관련해 이번 포스팅에서는 Hugging Face의 TGI(Text Generation Inference)를 활용하는 방법을 알아보려 합니다. *Hugging Face는 인공지능, 특히 자연어 처리(NLP) 분야에서 가장 유명한 오픈 소스 커뮤니티이자 플랫폼입니다. 마치 GitHub이 개발자들에게 코드를 공유하고 협업하는 공간이라면, Hugging Face는 AI 모델을 공유하고…
요즘 AI 전환에 대한 관심이 높아지면서 거대 언어 모델(Large Language Model, 이하 LLM)과 특정 분야나 작업에 최적화된 소형 언어 모델(Small Language Model, 이하 SLM) 관련 프로젝트를 준비하거나 추진 중인 조직이 많습니다. 사실상 AI 프로젝트를 추진하는 데 필요한 GPU 서버로 구성한 인프라와 MLOps 플랫폼 그리고 이를 운영할 인력을 잘 갖춘 곳은 그리 많지 않습니다. 그렇다고 해서…
OverviewAI 시대, 새로운 혁신의 길로 함께 나아가시겠습니까? 개발자와 DevOps가 협력하여 만들어가는 Cloud Native AI 서비스! 레거시 시스템을 현대화하고, 비즈니스 경쟁력을 높이기 위한 컨테이너 기반 전환의 중요성을 알고 계십니까? AI 시스템의 성공적인 실행을 위해 컨테이너 플랫폼은 이제 필수입니다. 구글 클라우드의 컨테이너 플랫폼(Cloud Run, GKE)을 통해, 귀사의 비즈니스를 한 단계 도약 시킬 수 있는 기회를 제안 드립니다…
최근 조직이 거대 언어 모델(LLM)을 미세 조정(Fine Tuning)하는 것에 관심을 보이고 있습니다. 파인튜닝은 LLM을 미세하게 조정하는 과정으로, 학습한 데이터를 그대로 따라가게 되면 현실적인 답과는 거리가 멀거나 활용하기 어려운 답변이 나올 수도 있기 때문에 쓰임새에 맞게 조정하는 작업 또한 반드시 필요합니다. * LLM은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어와 유사한 텍스트를 생성하고 이해할 수 있는…
안녕하세요. 구글 클라우드 프리미어 파트너 메가존소프트 (MegazoneSoft)입니다. 올해 동안 GCP 입문을 위한 실무 중심 hands-on 교육을 시즌 4에 걸쳐 진행 하였는데요. 12월 7일 Getting Started with Google Kubernetes Engine 웨비나를 끝으로 2023년 GCP 교육을 마무리하였습니다. 이번 웨비나에는 Google Cloud를 직접 사용하는 엔지니어 및 Google Kubernetes Engine에 관심 있는 분들께서 많이 참석해 주셨는데요. 웨비나부터 퀵랩…
메가존소프트의 Google Cloud 전문가들이 미국 샌프란시스코에서 열린 Google Cloud Next ’23에 직접 참여하여 전해주는 소식! 메가존소프트가 전하는 Next ’23 하이라이트 두 번째 주제는 생성형 AI(Generative AI) 전략을 지원하는 GPU, TPU 기반 구글 클라우드의 서비스입니다. 🌟 구글 클라우드 GPU, TPU 및 GKE 등의 서비스로 기업의 생성형 AI 전략 가속 구글 클라우드는 다양한 초거대 모델을 제공하고,…