LLM과 실시간 데이터 통합

대규모 언어 모델(LLM)을 IoT 또는 실시간 스트리밍 애플리케이션과 통합하면 지식 근로자의 생산성을 향상시키고 관련 및 요약 정보에 대한 액세스를 제공함으로써 큰 이점을 얻을 수 있습니다. 다음 문서는 이를 달성하는 방법과 구체적으로 Vantiq가 기존 엔터프라이즈 워크플로를 개선하여 LLM 지식과 사용자 상호 작용을 통합하는 데 어떻게 도움을 주는지 설명합니다.

LLM의 한계

지식 근로자는 업무를 수행하기 위해 방대한 양의 정보를 처리하고 필터링해야 합니다. 예를 들어 현장 서비스 기술자는 서로 연관된 100개 이상의 장비를 이해하고 수리할 수 있어야 하며, 의사는 수십 가지 증상, 약물 부작용, 진단 정보를 결합하여 잠재적 환자 진단 및 치료 계획을 세워야 합니다. 이러한 정보의 대부분은 매뉴얼, 교과서, 기술 자료 및 기타 자료의 형태로 존재합니다. 이 정보와 현재 데이터를 결합하는 것은 기계 결함을 진단하고, 이를 해결하기 위한 단계를 결정하거나, 잠재적인 환자 진단에 도달하는 데 필수적입니다.

ChatGPT 및 이를 뒷받침하는 LLM(Large Language Models)과 같은 도구는 지식 근로자들에 의해 점점 더 많이 사용되고 있습니다. 그러나 ChatGPT와 LLM는 몇 가지 제약이 있습니다. 예를 들어, LLM은 새로운 콘텐츠를 이해하고 제작하는 데 뛰어나지만 교육받은 데이터의 집합체를 기반으로 한 콘텐츠만 제작할 수 있습니다. 이들은 방대한 양의 정보에 대해 훈련을 받았지만, 2021년 경의 이 정보는 위키백과, 깃허브 등과 같이 공개적으로 접근할 수 있는 정보에 대해 훈련되었기 때문에 도메인별 정보가 거의 없거나 전혀 없습니다. 또한 ChatGPT와 같은 도구는 장비 또는 환경 데이터에 대한 실시간 또는 최신 정보에 액세스할 수 없습니다. 또한 이들은 과거 정보에 대한 액세스가 부족합니다. 이러한 정보는 종종 폐쇄적이고 검색이 불가능한 소스에 저장되어 있으며 지속적으로 업데이트되기 때문입니다.

LLM의 또 다른 한계는 컨텍스트 크기입니다. 컨텍스트 또는 프롬프트 크기는 모델에 따라 다르며, 일반적으로 2K 토큰(텍스트 2~3페이지에 해당)에서 32K 토큰(텍스트 40~50페이지에 해당)까지 다양합니다. 이 컨텍스트 크기에는 쿼리, 모든 컨텍스트 정보 및 LLM에서 생성한 응답이 모두 포함됩니다. 컨텍스트 크기가 더 크더라도 (32K), 해당 컨텍스트 내에서 완전한 지식 기반을 제공하기는 불가능합니다.

개인정보 보호는 또 다른 문제점입니다. ChatGPT와 같은 도구로 전송될 수 있는 일부 정보는 매우 민감하고 개인적인 정보일 수 있습니다. 따라서 환자 정보나 고객의 재무 정보를 ChatGPT와 같은 도구에 입력하는 것은 실현 불가능합니다. 대안으로, 사설 LLM과 같은 솔루션이 유용할 수 있습니다. 현재 GPT 및 BERT와 같은 LLM에 대해 많은 관심과 논의가 이루어지고 있지만, 시간이 지남에 따라 업계 및 도메인별 정보에 대해 교육받은 매우 전문화된 LLM이 생기기 시작할 것이며 프롬프트에 포함된 민감한 데이터의 주권을 보장할 수 있습니다.

맞춤형 LLM 학습이 항상 실용적이거나 필요한 것은 아닙니다. LLM 학습은 비용, 시간 및 기술 측면에서 막대한 작업이며 일반적인 기업 조직에는 이러한 능력이 없을 수도 있습니다. 경우에 따라 언어와 맥락이 매우 특수화된 곳(예: 의료 또는 법률 시장)에서 맞춤형 LLM을 학습시키는 것이 유리할 수 있지만 여전히 LLM을 효과적으로 최신 상태로 유지할 수 있는 능력이 없습니다. 의료 분야에는 1분마다 2개의 논문이 발행되고 있으며(https://www.nature.com/articles/nj7612-457a), 매 시간마다 80건 이상의 새로운 법률 사건이 발생하고 있습니다(https://www.uscourts.gov/statistics-reports/federal-judicial-caseload-statistics-2021). 따라서 맞춤형 LLM을 사용할 때에도 이를 최신 지식 기반과 결합할 수 있어야 합니다. 대부분의 경우 사용자 지정 LLM은 필요하지 않습니다. 기존 LLM에 의미론적 검색이라는 프로세스를 사용하여 메시지를 표시할 때 적절한 상황별 지식을 전송하는 경우에 그렇습니다. 이 프로세스는 아래에 자세히 설명되어 있습니다.

이러한 유형의 애플리케이션과 상황을 지원하는 다양한 기술과 기법이 이러한 문제를 해결할 수 있습니다. 우리는 기존의 참조 자료와 지식 기반, 장비 또는 환자에 대한 실시간 상태 정보, 장비 또는 환자에 대한 과거 정보, 그리고 사용자의 텍스트 프롬프트를 결합하여 LLM이 당면한 상황에 맞는 콘텐츠를 생성하도록 안내해야 합니다.

지식 기반을 의미론적 검색과 통합

기업 내에는 기술 자료, 참조 텍스트 및 기타 형태의 문서가 존재하는 경우가 많으며, 지식 근로자는 이러한 정보를 검색할 수 있어야 합니다. 기존의 검색 방식은 키워드 기반이었습니다. LLM의 경우 보다 생산적인 접근 방식은 의미론적 검색 기능을 사용하여 질문과 관련된 정보를 수집하고 이 추가 컨텍스트 정보를 컨텍스트/프롬프트의 일부로 LLM에 제공하는 것입니다. 의미론적 검색은 질문의 의도와 맥락적 의미를 판별하는 메커니즘을 사용하며, 이를 검색 쿼리로 사용하고 데이터 소스에서 일치하는 개념을 찾습니다.

데이터베이스 채우기

의미론적 검색 문제의 전반부는 LLM을 사용하여 지식 기반과 문서를 임베디드로 인코딩하는 것입니다. 이러한 임베디션을 생성하는 것은 매우 연산 집약적이므로 효율적인 검색을 위해 일반적으로 벡터 데이터베이스에 저장됩니다. 벡터 데이터베이스는 임베딩 및 관련 메타데이터를 저장합니다(예: 임베딩에 대한 소스 문서). 대용량 문서는 LLM에 더 관련성이 높은 정보를 제공하기 위해 더 작은 조각 또는 청크로 분할됩니다.

데이터베이스에서 검색

사용자로부터 질문/프롬프트와 관련된 모든 관련 문서/지식을 검색하기 위해, 질문은 임베딩으로 인코딩되고, 벡터 데이터베이스에 대해 유사성 검색이 수행됩니다. 이 프로세스는 질문하는 질문과 어느 정도 관련이 있을 수 있는 문서/청크를 검색합니다.

질문, 의미 검색 결과, 상황 인식 등의 결합

이 시점에서 우리는 단순히 의미론적 검색의 결과를 사용자 질문과 함께 프롬프트에 추가할 수 있습니다. 그러나 더 많은 컨텍스트 정보를 추가할 수도 있습니다. 예를 들어 오작동한 기계의 최근 10분 간의 센서 데이터와 의미론적 검색 결과 및 사용자의 질문을 추가하여 LLM의 응답을 생성할 수 있습니다. 우리는 현재 환자의 생체 징후와 질문에 대한 의미론적 검색 결과를 결합할 수 있습니다. 또한 환자의 의료 기록이나 환자가 복용하고 있는 현재 약물 목록과 같은 과거 정보를 LLM으로 전송되는 프롬프트에 추가할 수도 있습니다. 이 정보는 아마도 벡터 데이터베이스에 속하지 않을 것입니다. 왜냐하면 우리는 이 정보를 미리 알고 있는 경우가 많기 때문입니다. 또한 이 정보는 질문과 관련이 없으며 오히려 질문이 제기되는 상황과 관련이 있습니다. 따라서 이 정보를 벡터 데이터베이스에 추가하는 것은 불필요하며 비효율적입니다. 환자의 이름이나 고장 난 장비의 ID를 알고 있으므로 관계형 데이터베이스에서 환자의 의료 기록이나 약물 데이터를 조회하거나 장비의 서비스 기록을 조회하는 것이 더 효율적입니다.

활용 사례 분류

위의 모델을 사용할 수 있는 다양한 활용 사례 분류가 있습니다. LLM에 질문하는 것은 컴퓨팅 작업이 매우 많이 필요하며 비교적 느립니다. LLM은 기계 속도가 아닌 사람의 속도로 응답하는 경향이 있으며, 질문에 대한 응답은 질문과 제공된 컨텍스트 정보의 양에 따라 1~30초 정도 걸립니다. LLM은 실시간 데이터 스트림에서 상황을 감지하는 데 사용되어서는 안 되며, 지식 근로자에게 정보를 제공하고 지식 근로자가 필요할 때 정보를 구체화하고 요약할 수 있도록 하는 데 사용되어야 합니다.

스마트 알림 및 경고

일반적으로 애플리케이션은 관심 있는 상황이 감지될 때 지식 근로자에게 기본 알림을 전송합니다. 이 알림에는 상황에 대한 세부 정보와 추가 정보에 대한 가능한 링크가 포함되어 있을 수 있습니다. 스마트 알림은 LLM을 실시간 상황 정보, 하나 이상의 지식 기반 및 잠재적 기록 정보와 함께 사용하여 지식 근로자에게 초기 진단을 제공합니다. 그러면 지식 근로자는 제공된 정보를 더욱 구체화하거나 질의할 수 있습니다.

상황에 맞는 지원

지식 근로자들은 환자나 장비를 정기적으로 검토하는 경우가 많습니다. 상황에 맞는 지원은 환자 또는 장비의 현재 상태를 기록 정보 및 잠재적 지식 기반과 결합하여 지식 근로자가 환자 또는 장비의 현재 상태를 보다 세부적으로 파악할 수 있도록 할 수 있습니다.

Vantiq 및 LLM

Vantiq 실시간 애플리케이션은 방대한 양의 스트리밍 데이터를 처리하여 관심 있는 상황을 감지합니다. 이러한 애플리케이션은 여러 AI 및 ML 플랫폼과 기존 백엔드 애플리케이션을 조정하여 관심 있는 상황을 감지하고 이를 해결할 수 있도록 할 수 있습니다. Vantiq는 실시간 애플리케이션의 기능을 더욱 향상시키기 위해 여러 가지 LLM 기반 기능을 추가하였으며, 현재 관심 있는 상황을 해결하는 데 LLM을 포함하고 있습니다.

의미론적 검색 기능

벡터 데이터베이스를 채우고 쿼리할 수 있는 기능을 제공하여 의미론적 검색 기능을 지원합니다.

• 벡터 데이터베이스에 임베디드를 채우고 자동으로 생성하고 저장하는 방법
• 텍스트, PDF, Word 등과 같은 다양한 일반적인 파일 형식 지원
• 벡터 데이터베이스에 대해 쿼리 및 시멘틱 검색을 수행하고 결과를 프롬프트에 포함/결합하는 기능

LLM 기능에 대한 액세스

다양한 LLM 기능과의 통합이 플랫폼에 포함되어 있습니다. 여기에는 다음이 포함됩니다.

• 여러 상용 및 오픈 소스 대규모 언어 모델과의 통합
• 개발자가 제공해야 하는 모든 것은 액세스 토큰뿐이며, 모델은 Vantiq 애플리케이션에 통합될 수 있습니다.
• 프롬프트 템플릿
• 강력한 템플릿 엔진을 사용하여 프롬프트의 구성을 정의할 수 있으므로 개발자의 생산성을 높일 수 있습니다.
• 실시간 정보, 과거 정보 및 의미론적 검색 결과를 질문과 쉽게 결합

이러한 기능은 여러 LLM 및 의미론적 검색 관련 활동 패턴을 포함함으로써 Vantiq 민첩한 비주얼 이벤트 처리기 기능에 통합됩니다.

이러한 기능은 Vantiq의 기존 기능과 결합되어 새로운 애플리케이션을 구축하고 이러한 기능을 기존 애플리케이션에 통합할 수 있습니다.

• 인메모리 상태 관리 – 이를 통해 대화 기록을 데이터베이스가 아닌 메모리에서 관리하고 유지할 수 있습니다. 이를 통해 애플리케이션의 성능이 크게 향상됩니다. 또한 인메모리 상태는 클러스터 전체에 자동으로 복제될 수 있으므로 성능 비용 없이 데이터베이스의 신뢰성을 보장할 수 있습니다.
• 협업 기능 – Vantiq의 다양한 협업 기능은 LLM 기능과 통합될 수 있습니다.
• 협업 인스턴스를 관심 있는 상황당 하나로 제한할 수 있는 기능
• 모바일 애플리케이션과의 통합
• 채팅봇 기능과의 통합

다음은 환자가 즉각적인 치료를 필요로 한다는 것을 나타내는 상황을 찾기 위해 다양한 환자 생체 징후를 관리하는 간단한 시각적 이벤트 처리기에 대한 설명입니다. 상황이 감지되면 환자의 상태, 환자 기록 및 의사의 진단에 도움이 될 수 있는 지식 기반의 모든 정보를 결합하여 초기 프롬프트가 정의됩니다. 시스템은 초기 질문을 LLM에 제기하고 즉시 의사에게 전송합니다. 그러면 의사는 시스템에 후속 조치를 요청할 수 있습니다.

결론

실시간 애플리케이션 내에 대규모 언어 모델(LLM)을 통합하면 지식 근로자의 생산성을 크게 향상시킬 수 있습니다. GPT와 같은 LLM은 새로운 컨텐츠를 이해하고 만들어냄으로써 지식 근로자에게 점점 더 유용한 도구가 되었습니다. 그러나 LLM에는 사전 학습된 데이터에 대한 의존성과 제한된 컨텍스트 크기 등의 제약이 있습니다.

이러한 한계를 극복하기 위해 의미론적 검색 기능을 통해 지식 기반을 통합하면 LLM에게 관련 정보를 추가로 제공할 수 있습니다. 지식 기반과 문서를 벡터 데이터베이스에 포함된 형태로 인코딩함으로써 지식 근로자들은 질의에 필요한 관련 정보를 효율적으로 검색할 수 있습니다. 의미론적 검색 결과를 실시간 상태 정보, 이력 데이터 및 사용자 프롬프트와 결합하면 LLM에서 보다 상황에 맞는 응답을 생성할 수 있습니다.

실시간 애플리케이션 플랫폼인 Vantiq은 LLM 통합 및 의미론적 검색을 지원하는 기능을 제공합니다. 이 플랫폼을 사용하면 벡터 데이터베이스에 임베디드를 생성하고 저장할 수 있으므로 효율적인 쿼리와 의미론적 검색이 가능합니다. 또한 다양한 LLM 기능에 대한 액세스, 상용 및 오픈 소스 LLM과의 통합, 템플릿 엔진을 사용하여 프롬프트를 구성할 수 있는 유연성을 제공합니다.

Vantiq의 LLM 및 의미론적 검색 기능을 인메모리 상태 관리 및 협업 도구와 같은 기존 기능과 통합함으로써 개발자들은 강력한 실시간 애플리케이션을 구축할 수 있습니다. 이러한 애플리케이션은 지식 근로자에게 환자 또는 장비 상태에 대한 세부적인 정보를 제공하고, 스마트 알림과 경고를 제공하며, 의사 결정 프로세스를 지원할 수 있습니다.

전반적으로 Vantiq과 같은 플랫폼을 통해 촉진되는 LLM과 실시간 애플리케이션의 결합은 지식 근로자의 효율성을 향상시키고 관련 및 요약 정보에 적시에 액세스할 수 있도록 하는 데 큰 잠재력을 가지고 있습니다.