API 관리 플랫폼은 오늘날 엔터프라이즈 컴퓨팅에서 매우 중요한 역할을 수행합니다. API 관리 플랫폼은 API 요청과 응답을 중개하는 게이트웨이 역할을 하며, API 트래픽 관리, 인증 및 권한 부여, 정책 설정, 캐싱, 요금 청구, 분석 등의 기능을 제공합니다. 이를 통해 기업은 API를 안전하게 공개하고, 트래픽을 효율적으로 관리할 수 있습니다. ⭐ 엔터프라이즈 컴퓨팅 전략의 핵심…
‘시트릭스와 구글 클라우드로 하이브리드 워크스페이스 환경 구축‘ 최근 하이브리드 워크스페이스(Hyrbid Workspace) 환경이 화두입니다. 많은 이들이 코로나19 이전 근무 방식으로 완전히 돌아가는 것을 부담스러워하고 있습니다. 코로나19 이전에는 풀타임 근무가 당연한 거였지만 코로나19로 인해 재택 근무와 유연 근무를 2년 정도 해본 2022년 5월 기준으로 보면 당연하지 않습니다. 이런 이유로 디지털 전환에 앞선 기업들은 조직원들의 의견에 귀를…
Google Cloud는 Hugging Face에서 제공하는 다양한 AI 모델들을 Cloud Run과 GKE라는 서비스를 통해 간편하게 사용할 수 있도록 지원합니다. 관련해 이번 포스팅에서는 Hugging Face의 TGI(Text Generation Inference)를 활용하는 방법을 알아보려 합니다. *Hugging Face는 인공지능, 특히 자연어 처리(NLP) 분야에서 가장 유명한 오픈 소스 커뮤니티이자 플랫폼입니다. 마치 GitHub이 개발자들에게 코드를 공유하고 협업하는 공간이라면, Hugging Face는 AI 모델을 공유하고…
구글 클라우드의 Cloud Run 환경에서 Java 애플리케이션, 특히 Spring 프레임워크를 이용하는 서버리스 애플리케이션을 개발하는 분들에게 몇 가지 중요한 성능 최적화 팁을 소개합니다. 이러한 최적화 방법은 애플리케이션의 응답 시간을 단축하고 비용을 줄이는 동시에 사용자 경험을 개선하는데 도움이 됩니다. ⚙️ Cloud Run과 Cold Start 최적화 Cloud Run은 사용하지 않을 때는 자원을 아끼기 위해 서비스를…
구글 클라우드 GKE 팀이 정리한 이달의 GKE 주요업데이트 내용을 알려드리고자 합니다. LLM 트래픽 관리를 위한 GKE 추론 게이트웨이 새롭게 선보이는 GKE 추론 게이트웨이는 GKE Gateway의 확장 기능으로 생성형 AI 워크로드를 효율적으로 서빙하도록 설계되었습니다. 이 솔루션은 긴 연결 시간이나 예측 불가능한 응답 패턴 같은 LLM 트래픽 고유의 특성을 효과적으로 관리합니다. GKE 추론 게이트웨이는 LLM 트래픽…
요즘 AI 전환에 대한 관심이 높아지면서 거대 언어 모델(Large Language Model, 이하 LLM)과 특정 분야나 작업에 최적화된 소형 언어 모델(Small Language Model, 이하 SLM) 관련 프로젝트를 준비하거나 추진 중인 조직이 많습니다. 사실상 AI 프로젝트를 추진하는 데 필요한 GPU 서버로 구성한 인프라와 MLOps 플랫폼 그리고 이를 운영할 인력을 잘 갖춘 곳은 그리 많지 않습니다. 그렇다고 해서…
최근 전 세계 주요 거점에서 생산 시설을 운영하는 기업들은 ESG 경영을 추진하기 위해 공급망을 최적화하고 친환경 공장 운영을 위해 첨단 분석과 AI 기술을 활용하는 것에 관심을 보이고 있습니다. 첨단 분석과 AI 기술을 활용하여 자원 사용을 효율화하고, 환경에 대한 부정적인 영향을 최소화하며 사회적 책임을 이행하는 동시에 규제 준수를 보장하고자 함인데요. *ESG 경영은 환경(Environmental), 사회적 책임(Social), 지배구조(Governance)의…
‘Google Cloud의 SecOps 서비스‘ 요즘은 보안의 경계가 없습니다. 엔터프라이즈 컴퓨팅의 경계가 온프레미스에서 클라우드, 엣지 등으로 넓어지면서 위협에 노출될 수 있는 표면적도 함께 넓어지고 있습니다. 뿐만 아니라 전통적인 애플리케이션 개발 방식과 달리 요즘에는 DevOps 파이프라인을 따라 민첩하게 개발되고 배포에서 운영까지 이루어집니다. 이를 통해 디지털 엔터프라이즈의 민첩성을 높이는 것이 추세입니다. 그러다보니 보안 운영 센터(Security Operation Center)…
‘가상화 및 쿠버네티스 인프라 보호‘ 클라우드 환경의 보안에 대한 우려는 어제오늘 일이 아닙니다. 주요 CSP(Cloud Service Provider)는 보안 강화를 위해 오랜 기간 노력해 왔고 그 결과 2022년 현재 클라우드 보안은 걱정이 필요 없는 수준까지 발전하였습니다. 이런 흐름을 이끄는 CSP(Cloud Service Provider)가 바로 구글 클라우드(Google Cloud)입니다. 구글 클라우드는 APT 공격, 악의적인 내부자, 펌웨어 조작, 인프라 버그로…