대상 기간: 오늘 · 수집 항목: 1건 · 출처: Azure 공식 업데이트 RSS
오늘은 항목이 많지는 않지만, 꽤 재미있는 방향성이 보입니다. Azure가 Kubernetes ingress/gateway 레이어에 AI 추론 트래픽 제어 기능을 넣기 시작했다는 점이 핵심인데요. 이제 AI 앱을 만들 때 모델 자체뿐 아니라, 추론 요청을 어떻게 라우팅하고 보호하고 관찰할지도 인프라 학습의 중요한 주제가 되고 있다는 신호로 읽으면 좋겠습니다.
· Inference Gateway — LLM/추론 API 요청을 Kubernetes 게이트웨이 계층에서 다루는 개념으로, AI 앱 네트워크 아키텍처의 새 축입니다.
· Application Gateway for Containers — AKS/Kubernetes 환경에서 Gateway API 기반으로 ingress를 구성하는 Azure 네이티브 옵션입니다.
· Kubernetes Gateway API Inference Extension — 일반 HTTP ingress를 넘어, AI 추론 트래픽 특성에 맞춘 확장 포인트를 제공하는 흐름입니다.
· AI Gateway 패턴 — 모델 앞단에 인증, 라우팅, 로드 밸런싱, 정책 적용을 두는 아키텍처 패턴으로 이해해 두면 좋습니다.
· 플랫폼 엔지니어링 관점의 AI 운영 — AI 서비스 운영이 앱 코드만의 문제가 아니라 네트워크·보안·관측성까지 포함하는 영역이라는 점을 보여줍니다.
1 item
무엇인가: AKS/컨테이너 기반 환경에서 쓰는 Application Gateway for Containers에, AI 추론 요청을 처리하기 위한 inference gateway 기능이 Public Preview로 추가됐습니다. 기존의 ingress가 주로 일반 HTTP/S 앱 진입점 역할이었다면, 이제는 AI 모델 호출 트래픽을 위한 게이트웨이 역할까지 시야에 들어오기 시작한 것입니다.
왜 흥미로운가: 요즘 AI 앱은 “모델 배포”만으로 끝나지 않고, 어떤 요청을 어느 모델로 보낼지, 트래픽을 어떻게 제어할지, 정책을 어디에 둘지까지 설계해야 합니다. 이 기능은 Azure 네트워크 계층이 AI 애플리케이션 운영의 일부로 확장되고 있다는 점에서, 플랫폼 엔지니어·클라우드 아키텍트 모두에게 꽤 중요한 변화입니다.
해보기: 우선 Application Gateway for Containers와 Kubernetes Gateway API 구조를 먼저 훑은 뒤, 원문 업데이트에서 Inference gateway 관련 설명을 읽으며 “내가 AKS에서 여러 모델 엔드포인트를 운영한다면 게이트웨이 앞단에 무엇을 둘까?”를 기준으로 아키텍처 메모를 작성해 보세요.
원문 링크: https://azure.microsoft.com/updates?id=566516
오늘 제공된 목록에는 서비스 종료(retirement) 항목이 없습니다.