최근 AI 시장의 흐름은 모델을 만드는 훈련(Training) 단계에서 실제 서비스를 제공하는 추론(Inference) 단계로 무게 중심이 이동하고 있습니다. 흔히 말하는 프로덕션 환경에 AI 서비스가 본격적으로 투입되는 시기가 된 것입니다. 이런 분위기 속에서 구글 TPU에 대한 관심이 높아지고 있습니다. 아무래도 추론 관련 성능과 비용의 황금비를 찾는 것이 중요하다 보니 GPU와 TPU를 놓고 심각하게 고민하는 곳이 늘고 있는…
프로덕션 환경에서 AI 서비스를 제공할 때 가장 많이 고민하는 것은 바로 효율입니다. 여기서 말하는 효율은 GPU나 TPU 자원 활용을 극대화하여 운영 비용(Opex) 절감하는 것을 뜻합니다. Opex를 강조하는 이유는 일회성 투자(CapEx)에 가까운 훈련과 달리 추론은 꾸준히 비용이 발생하기 때문입니다. 따라서 기업의 AI 전환이 성공하려면 조직 및 도메인에 특화해 훈련한 모델을 보유하는 것만으로는 부족합니다. 이 모델을 프로덕션환경에…
메가존소프트의 Google Cloud 전문가들이 미국 샌프란시스코에서 열린 Google Cloud Next ’23에 직접 참여하여 전해주는 소식! 메가존소프트가 전하는 Next ’23 하이라이트 두 번째 주제는 생성형 AI(Generative AI) 전략을 지원하는 GPU, TPU 기반 구글 클라우드의 서비스입니다. 🌟 구글 클라우드 GPU, TPU 및 GKE 등의 서비스로 기업의 생성형 AI 전략 가속 구글 클라우드는 다양한 초거대 모델을 제공하고,…
탄소 중립 로드맵을 수립하고 실천하는 것의 중요성이 나날이 커지고 있습니다. 이제 탄소 중립은 선택이 아니라 생존의 문제로 여겨지고 있습니다. 이런 흐름에 발맞춰 구글은 Industrial Adaptive Controls 플랫폼을 개발하였습니다. 😃 이 플랫폼은 Google Cloud와 DeepMind를 활용해 상업용 건물, 데이터 센터, 산업용 시설에서 사용하는 HAVC 시스템을 AI 기술을 활용해 제어합니다. 이를 통해 난방, 환기,…
아는 이는 모두 안다는 사실 중에 하나가 바로 「Google Cloud는 네트워크 인프라의 기반 자체가 다른 사업자와 많이 다르다」는 것입니다 🙂 전 세계를 잇는 네트워크 인프라의 강점은 새삼 강조할 필요 없을 정도로 모두가 인정하는 강점입니다. 여기에 또 다른 차별점을 하나 더 말하자면 바로 칩이라고 할 수 있습니다. 구글은 꾸준히 자체 데이터센터를 위한 칩을 개발하고 있습니다.…
구글이 국제 학술지 네이처에 “반도체 설계 작업에 AI 기술을 적용하여 수개월 진행하던 작업을 6시간 만에 끝냈다”고 밝혔습니다. 😲 AI가 AI를 위해 개발된 칩의 설계 속도를 높인 셈인데요. 이번에 설계한 반도체 칩은 텐서프로세서유닛(TPU)입니다. 구글이 2016년부터 데이터센터에 적용하고 있는 반도체 칩이기도 하죠. 가장 최근 제품은 지난해 출시한 TPU V4입니다. 이 TPU V4를 설계하는 데 AI…
이베이하면 뭐가 떠오르세요? 전자상거래의 대표 브랜드하면 이베이가 떠오를 것입니다. 전자상거래 분야의 개척자 중 하나인 이베이는 요즘 무엇에 꽂혀 있을까요? 네, 인공 지능(AI)입니다. 이베이는 다양한 부문에 AI를 적용하고 있습니다. 이중 이미지 검색 관련해 이베이가 갖는 경쟁력을 좀 살펴보겠습니다. 이미지 검색에 AI를 적용하는 이유는 간단합니다. 고객의 쇼핑 방식이 변하는 것에 따라가기 위해서입니다. 쇼핑몰을 이용할 때 점점…
머신 러닝 연구자와 엔지니어, 데이터 과학자의 업무 생산성에 큰 영향을 끼치는 요소는? 바로 컴퓨팅 환경입니다. 모델 트레이닝 시간을 좌우하는 핵심 요소인 컴퓨팅 환경을 어떻게 구성해 이용할 것인가? 이 고민에 대한 새로운 선탠지로 다들 구글이 개발한, 첫 설계부터 미신 러닝을 고려해 만든 TPU (Tensor Processing Unit) 칩 기반 인프라를 생각하는 분들이 많습니다. 관련해 구글 Cloud TPU…