Google Cloud는 Hugging Face에서 제공하는 다양한 AI 모델들을 Cloud Run과 GKE라는 서비스를 통해 간편하게 사용할 수 있도록 지원합니다. 관련해 이번 포스팅에서는 Hugging Face의 TGI(Text Generation Inference)를 활용하는 방법을 알아보려 합니다. *Hugging Face는 인공지능, 특히 자연어 처리(NLP) 분야에서 가장 유명한 오픈 소스 커뮤니티이자 플랫폼입니다. 마치 GitHub이 개발자들에게 코드를 공유하고 협업하는 공간이라면, Hugging Face는 AI 모델을 공유하고…
요즘 AI 전환에 대한 관심이 높아지면서 거대 언어 모델(Large Language Model, 이하 LLM)과 특정 분야나 작업에 최적화된 소형 언어 모델(Small Language Model, 이하 SLM) 관련 프로젝트를 준비하거나 추진 중인 조직이 많습니다. 사실상 AI 프로젝트를 추진하는 데 필요한 GPU 서버로 구성한 인프라와 MLOps 플랫폼 그리고 이를 운영할 인력을 잘 갖춘 곳은 그리 많지 않습니다. 그렇다고 해서…
OverviewAI 시대, 새로운 혁신의 길로 함께 나아가시겠습니까? 개발자와 DevOps가 협력하여 만들어가는 Cloud Native AI 서비스! 레거시 시스템을 현대화하고, 비즈니스 경쟁력을 높이기 위한 컨테이너 기반 전환의 중요성을 알고 계십니까? AI 시스템의 성공적인 실행을 위해 컨테이너 플랫폼은 이제 필수입니다. 구글 클라우드의 컨테이너 플랫폼(Cloud Run, GKE)을 통해, 귀사의 비즈니스를 한 단계 도약 시킬 수 있는 기회를 제안 드립니다…
최근 조직이 거대 언어 모델(LLM)을 미세 조정(Fine Tuning)하는 것에 관심을 보이고 있습니다. 파인튜닝은 LLM을 미세하게 조정하는 과정으로, 학습한 데이터를 그대로 따라가게 되면 현실적인 답과는 거리가 멀거나 활용하기 어려운 답변이 나올 수도 있기 때문에 쓰임새에 맞게 조정하는 작업 또한 반드시 필요합니다. * LLM은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어와 유사한 텍스트를 생성하고 이해할 수 있는…
안녕하세요. 구글 클라우드 프리미어 파트너 메가존소프트 (MegazoneSoft)입니다. 올해 동안 GCP 입문을 위한 실무 중심 hands-on 교육을 시즌 4에 걸쳐 진행 하였는데요. 12월 7일 Getting Started with Google Kubernetes Engine 웨비나를 끝으로 2023년 GCP 교육을 마무리하였습니다. 이번 웨비나에는 Google Cloud를 직접 사용하는 엔지니어 및 Google Kubernetes Engine에 관심 있는 분들께서 많이 참석해 주셨는데요. 웨비나부터 퀵랩…
메가존소프트의 Google Cloud 전문가들이 미국 샌프란시스코에서 열린 Google Cloud Next ’23에 직접 참여하여 전해주는 소식! 메가존소프트가 전하는 Next ’23 하이라이트 두 번째 주제는 생성형 AI(Generative AI) 전략을 지원하는 GPU, TPU 기반 구글 클라우드의 서비스입니다. 🌟 구글 클라우드 GPU, TPU 및 GKE 등의 서비스로 기업의 생성형 AI 전략 가속 구글 클라우드는 다양한 초거대 모델을 제공하고,…
배치 작업(Batch Job)은 IT 운영의 핵심 업무로, 관리자의 개입 없이 자동으로 스케줄링을 통해 처리하는 작업을 의미합니다. 배치 작업의 대표적인 유형 중 하나가 데이터 처리입니다. 대규모 리소스가 필요한 유형의 작업이 많다 보니 보통 야간 시간에 일정을 잡아 처리합니다. 프로덕션 환경에 영향을 끼치면 안 되다 보니 이러한 작업 형태를 띤다고 합니다. 배치 작업을 떠올릴 때 자동화 못지않게…
GCP 사용자를 위한 보안설정 가이드 라인
Google Cloud 보안 설정으로 안전하게 인프라 운영하기
Overview GCP 입문을 위한 실무 중심의 웨비나 hands-on Labs day에 여러분을 초대합니다. . Google Kubernetes에 관심 있거나, GCP를 처음 시작하시는 분들을 위해 메가존소프트에서 Google Kubernetes Engine 웨비나를 진행합니다. 🙂🤗 이번 웨비나는 Google Kubernetes Engine 입문용 실습 과정으로 구성되어 있으며, Google Kubernetes Engine의 주요 기능을 파악하고 Qwiklabs 환경의 세부 사항에 대해 자세히 소개 드릴 예정입니다. Google…
GKE Node Pool Upgrade TIP!! 새로운 시스템이나 서비스를 만들 때 우선 고려하는 것 중 하나가 컨테이너입니다. 요즘에는 레거시 조차도 일부 기능을 마이크로서비스 형태로 애플리케이션 현대화를 하는 것을 고려할 정도입니다. 가상 머신과 함께 컨테이너는 이제 애플리케이션 운영을 위한 기본 단위로 자리를 잡았습니다. 관리하는 컨테이너 수가 많다면 한번쯤 업그레이드 방식을 고민하게 됩니다. 이번 포스팅에서는 구글…