많은 시스템, 데이터 소스 및 운영 워크플로에 의존하는 조직에서 근무하고 있다면 AI 분야에서 가장 큰 과제는 더 이상 모델을 선택하는 것이 아닙니다.
이는 제품이나 비즈니스의 운영 방식을 방해하지 않으면서 이러한 모든 시스템을 실제 세계에서 함께 작동하도록 하는 것입니다.
이러한 변화를 AI 오케스트레이션이라고 합니다. 실용적인 수준에서 오케스트레이션은 어떤 일이 일어나야 하는지, 언제 일어나야 하는지, 어떤 데이터를 사용해야 하는지, 결과가 시스템을 통해 어떻게 이동되는지, 그리고 문제가 발생할 때 시스템을 어떻게 복구하는지를 결정합니다.
팀들이 AI를 데모를 넘어 프로덕션으로 옮겨감에 따라 그들은 실패가 모델 자체에서 발생하는 경우는 거의 없다는 것을 배우고 있습니다. 이러한 문제는 시스템이 질서를 벗어나게 작동하거나, 중요한 정보를 잃거나, 실제 상황이 변화할 때 응답하지 못할 때 발생합니다.
오케스트레이션을 이해하면 AI가 지속적인 이점이 될 것인지 아니면 연결되지 않은 실험의 집합체로 인해 정체될 것인지 결정할 수 있습니다.
다음은 AI가 시스템 수준으로 발전함에 따라 조직이 이해해야 할 7가지 아키텍처 변화입니다.
-
AI는 채팅 인터페이스에서 내장 인텔리전스로 전환합니다
오늘날 대부분의 사람들은 채팅 인터페이스를 통해 AI를 경험합니다. 이러한 패턴은 AI 채택의 다음 단계를 형성하지 못할 것입니다.
실제 운영은 사용자 질문이 아닌 이벤트에 따라 달라집니다. 시스템은 화물이 늦게 도착하거나, 센서 판독값이 변경되거나, 환자가 한 진료 단계에서 다른 진료 단계로 이동할 때 실시간으로 대응해야 합니다.
AI는 이러한 워크플로 내부로 이동할 것입니다. 의미 있는 변화를 감시하고, 상황을 이해하며, 올바른 다음 단계를 트리거합니다. 실제 운영에는 단일 모델이 자체적으로 관리할 수 없는 타이밍, 종속성 및 핸드오프가 포함되므로 이를 위해서는 오케스트레이션이 필요합니다.
AI는 사용자가 쿼리하는 도구처럼 작동하지 않으며 시스템 자체 내부에서 반응하는 지능형 계층이 됩니다.
-
멀티 에이전트 시스템이 단일 모델 패턴을 대체합니다.
AI의 미래는 모든 것을 처리하는 하나의 대규모 모델이 아닙니다.
대신, 이는 각각 작업의 일부를 책임지는 특수한 에이전트들의 집합입니다. 한 에이전트는 계획을 세우고, 다른 에이전트는 정보를 검색하며, 또 다른 에이전트는 규칙을 확인하고, 또 다른 에이전트는 안전을 관리하며, 또 다른 에이전트는 사람이나 외부 시스템과 상호 작용합니다.
이러한 에이전트는 수행해야 하는 작업에 따라 다양한 모델에 의존할 수 있습니다. 일부 작업에는 더 강력하고 값비싼 모델이 필요합니다. 다른 것들은 더 빠르고 저렴한 제품으로 더 잘 작동합니다.
어려운 부분은 에이전트를 구축하는 것이 아닙니다. 이들이 하나의 시스템으로 작동하도록 조정하고 있습니다.
조율이 없으면 에이전트들은 충돌하거나 작업을 반복하거나 불완전한 정보에 따라 행동할 수 있습니다. 오케스트레이션을 통해 이들은 상황을 공유하고 경계를 존중하며 무언가가 잘못되었을 때 깨끗하게 복구할 수 있습니다.
향후 3년 동안 멀티 에이전트 시스템은 엔터프라이즈 AI의 표준 패턴이 될 것이며, 오케스트레이션은 이를 대규모로 실용적으로 만드는 요소가 될 것입니다.
-
AI는 클라우드와 에지 전반에서 하이브리드 방식으로 운영됩니다.
AI는 클라우드에서만 살지 않을 것입니다.
일부 결정은 데이터가 생성되는 곳과 가까운 곳에서 이루어져야 합니다. 카메라, 차량, 임상 장치 및 산업용 센서는 종종 원격 시스템으로의 왕복 여행을 기다리지 않고 즉시 대응해야 합니다.
에지 시스템은 로컬 컨텍스트를 처리하고 신속한 응답을 제공합니다. 클라우드 시스템은 광범위한 워크플로우, 더 많은 처리 및 더 오래 실행되는 작업을 조정합니다.
에지에서 AI를 실행한다고 해서 자동적으로 더 강력한 모델이나 더 나은 보안을 의미하지는 않습니다. 대부분의 경우 클라우드 기반 모델은 여전히 더 빠르고 더 강력합니다. 에지의 가치는 원시 컴퓨팅이 아닌 타이밍과 지역에서 비롯됩니다.
오케스트레이션은 클라우드와 에지가 계속 함께 작동하도록 지원합니다. 이를 통해 의사 결정이 일관되게 유지되고, 문맥이 일관되게 유지되며, 조건이 변화함에 따라 시스템이 예측 가능하게 작동하도록 보장됩니다.
-
AI가 정보뿐만 아니라 실제 운영을 제어하기 시작합니다
가장 중요한 변화는 운영상의 변화입니다.
AI는 콘텐츠 생성에서 업무가 실제로 발생하는 방식을 관리하는 것으로 전환하고 있습니다.
병원 퇴원 절차를 생각해 보십시오. 시스템은 임상 기록에서 정보를 추출하고, 필요한 작업이 완료되었는지 확인하고, 보험 또는 청구 단계를 확인하고, 병실 준비를 조정하며, 의료 팀에 알릴 수 있습니다.
일부 단계는 병렬로 수행될 수 있습니다. 다른 단계는 특정 조건이 충족될 때까지 기다려야 합니다. 이 모든 것은 실시간 컨텍스트에 달려 있습니다.
시스템의 일부가 너무 일찍 이동되거나 업데이트를 놓치면 워크플로가 중단됩니다. 오케스트레이션을 통해 작업이 적절한 순서로, 적절한 데이터를 사용하여, 적절한 시기에 이루어질 수 있습니다.
AI가 실제 운영과 상호 작용할 수 있다고 신뢰할 수 있게 되면 이러한 수준의 제어가 필수적입니다.
-
빠른 모델 진화는 새로운 아키텍처 사고 방식을 강요합니다.
모델은 빠르게 개선되고 있습니다. 새로운 버전이 자주 출시됩니다. 비용이 감소합니다. 기능이 확장됩니다.
문서 처리는 이 상충 관계를 명확하게 보여줍니다. 초기 시스템은 문서 하나를 처리하는 데 몇 분이 걸릴 수 있었으며 비용도 많이 들었기 때문에 사용량을 제한해야 했습니다. 팀은 작업량을 제한하거나, 하룻밤 사이에 일괄 처리하거나, 시스템을 전혀 사용하지 않습니다.
불과 몇 달 후, 새로운 모델은 훨씬 적은 비용으로 동일한 파이프라인을 몇 초 만에 가동할 수 있습니다. 진정한 승리는 단순한 속도에 있지 않습니다. 이는 시간이나 비용에 대해 걱정하지 않고 사용량을 확장할 수 있는 자유입니다.
이러한 개선은 팀이 모델을 쉽게 전환할 수 있는 경우에만 중요합니다. 긴밀하게 연결된 시스템에서 스왑은 프롬프트가 변경되고 출력이 다르게 표시되며 도구가 다르게 작동하기 때문에 워크플로를 방해합니다. 오케스트레이션된 시스템에서는 모델 전환이 일상적으로 이루어지므로 팀은 즉시 비용 절감과 성능 향상의 이점을 누릴 수 있습니다.
시간이 지남에 따라 빈번한 모델 변경을 흡수하도록 설계된 시스템은 안정성과 유연성, 비용 효율성을 유지하는 시스템입니다.
-
신뢰성은 AI 시스템의 최우선 요구 사항이 됩니다.
AI 시스템이 확장됨에 따라 신뢰성은 최적화가 아닌 필수 요건이 됩니다.
운영 환경에서 장애는 드문 일이 아닙니다. 백만 개 중 하나의 버그는 빠르게 일상적인 규모의 문제로 변합니다.
무언가가 실패할 때 AI 시스템은 그 자리를 잃을 수 없습니다. 그들은 자신이 하고 있던 일을 잊거나 처음부터 다시 시작할 수 없습니다.
상태와 메모리는 충돌, 재시도 및 인프라 장애 발생 시 지속되어야 합니다. 시스템은 이미 일어난 일과 앞으로 일어날 일이 무엇인지 알아야 합니다.
AI가 장애 발생 시 컨텍스트를 잃게 되면 AI가 실제 작업을 실행할 수 있다고 신뢰할 수 없습니다. 신뢰성은 처음부터 복구, 무중단 업무 운영 및 메모리를 고려한 설계에 달려 있습니다.
-
오케스트레이션은 지능형 시스템의 중추가 됩니다.
많은 조직이 여전히 독립적으로 작동하는 AI 개념 증명을 구축하지만 실제 운영상의 압박으로 인해 붕괴됩니다. 이러한 데모는 통제 환경을 벗어난 후 타이밍 문제, 데이터 편차, 시스템 통합 또는 장애 경로를 처리하지 못하는 경우가 많습니다.
가장 현명한 리더들은 다른 접근 방식을 취할 것입니다. 그들은 다른 핵심 시스템을 구축하는 것과 같은 방식으로 AI를 구축할 것입니다. 그들은 다음을 수행할 것입니다:
- 모델이 변경될 것이라고 가정합니다.
- 처음부터 신뢰성과 안전성을 고려하여 설계합니다.
- 이벤트 기반 패턴 사용
- 하이브리드 클라우드 및 에지 환경 지원
- AI를 핵심 인프라의 일부로 취급
목표는 인상적인 것을 단 한 번만 구축하는 것이 아닙니다. 이는 조직이 발전함에 따라 지속적으로 작동하고 최첨단 기술을 유지할 수 있는 것을 구축하는 것입니다.
이러한 변화를 일찍 이해하는 조직은 향후 10년간의 혁신을 정의할 것입니다.
결론: 미래는 오케스트레이션에 달려 있습니다
AI는 더 큰 모델이나 더 화려한 데모를 통해 조직을 혁신하지 않을 것입니다. 이는 많은 지능형 부품을 조정하고, 지속적인 변화를 처리하며, 클라우드와 에지 전반에서 실시간으로 운영할 수 있는 시스템을 통해 이를 혁신할 것입니다.
오케스트레이션은 이를 가능하게 합니다. 이 계층은 인텔리전스를 행동으로 전환하고, 모델이 발전함에 따라 복잡성을 관리하며, 기반 기술이 변화하더라도 운영을 안정적으로 유지합니다.
향후 몇 년 동안 선도적인 조직은 AI를 독립형 도구가 아닌 시스템 수준의 기능으로 취급하는 조직이 될 것입니다. 그들은 실제 세계에 적응하고 확장하며 대응할 수 있는 아키텍처를 구축할 것입니다. 이들은 개별적인 프롬프트가 아닌 워크플로, 이벤트 및 조정의 관점에서 생각할 것입니다.
다음 10년간의 인공지능은 이를 조율할 수 있는 사람들의 몫입니다.