오늘날 대규모 언어 모델(LLM)만으로는 기업 환경에서 실질적인 가치를 제공할 수 있는 지능형 AI 에이전트를 구현하기에 충분하지 않다는 사실이 널리 인정되고 있습니다. 오히려 LLM을 엔터프라이즈 데이터와 통합하고 보강해야만 진정으로 강력하고 정확하며 가치 있는 AI 에이전트 및 애플리케이션을 제공할 수 있습니다.
검색 증강 생성(RAG)은 기업 데이터로 LLM의 근거를 마련하기 위한 가장 실용적이고 확장 가능한 접근 방식을 제공합니다. RAG는 벡터 데이터베이스와 임베딩 기술을 활용하여 LLM이 학습되지 않았고 이전에 본 적이 없는 정보를 기반으로 요청을 처리하고 응답을 제공할 수 있도록 합니다. 이 기능은 실시간의 정확한 데이터에 액세스하는 것이 필수적인 엔터프라이즈 환경에 AI를 적용할 때 특히 중요합니다. 하지만, 엔터프라이즈 환경 내에서 RAG를 구현하고 생성형 AI 애플리케이션을 배포하는 것은 쉽지 않습니다. 시장조사기관 Gartner의 연구에 따르면, 데이터 품질 저하 및 기타 요인으로 인해 2025년 말까지 생성형 AI 프로젝트의 약 30%가 중단될 것으로 예측하고 있습니다.
이 글에서는 RAG 패턴의 변형인 쿼리 RAG를 정형 데이터 소스에 적용하여 강력한 AI 에이전트를 배포하는 방법과 새로 출시된 디노도 AI SDK와 함께 디노도 플랫폼이 어떻게 RAG 개념에서 AI 애플리케이션 배포로 신속하게 전환할 수 있도록 지원하는지에 대해 자세히 설명합니다.
쿼리 RAG와 정형 데이터
오늘날 대부분의 RAG 관련 내용은 비정형 데이터로 LLM을 보강하는 데 초점을 맞추고 있습니다. 그 결과, 웹사이트나 PDF와 같은 비정형 데이터를 사용해 RAG를 구현하는 기술과 에코시스템은 빠르게 발전해 왔으며 강력하고 확장 가능한 것으로 입증되고 있습니다. 안타깝게도 정형 데이터나 테이블 형식 데이터의 세계에는 동일한 수준의 기술 성숙도가 적용되지 않았습니다. 정형 데이터로 LLM을 보강하는 것은 오늘날 잘 이해되지 않은 또 다른 도전 과제를 제시합니다.
디노도는 많은 고객과 긴밀히 협력하여 정형 데이터 소스를 사용하여 RAG 패턴을 구현해 왔으며, 비정형 데이터 세계에서는 적용되지 않는 여러 가지 고유한 문제를 발견했습니다:
- 정형 데이터나 테이블 형식의 데이터는 단순히 가져올 수 없으며, 올바른 SQL 또는 API 호출을 통해 액세스하고 쿼리해야 합니다.
- 액세스 메커니즘과 최적의 데이터 검색 기술은 공급업체마다, 플랫폼마다 다를 수 있습니다.
- 벡터 임베딩 전략은 메타데이터와 실제 데이터를 모두 포함해야 하며, 자연어 기반 쿼리와 고도로 기술적인 메타데이터 사이의 간극을 메워야 합니다.
- 정형 데이터 및 관련 메타데이터는 항상 변경됩니다. 따라서 최신 실시간 데이터에 액세스하면 변경 사항을 확인할 수 있습니다.
- 기존 데이터 보안 및 권한 제어를 존중하고 통합해야 합니다.
이와같은 과제는 정형 데이터를 처리하는 데 있어 차별화된 접근 방식이 필요함을 강조합니다. 저희는 이러한 문제를 면밀히 연구해 왔으며, 그 결과 쿼리 RAG를 다른 요구 사항과 단계를 가진 RAG 패턴의 변형으로 파악했습니다. 쿼리 RAG는 다음을 제공해야 합니다:
- 모든 메타데이터와 데이터 소스 및 플랫폼에서 벡터 임베딩을 생성할 수 있는 강력하고 확장 가능한 방법
- 데이터 소스 및 시스템의 복잡성을 추상화하는 통합 SQL 액세스 엔진
- 데이터 아키텍처와 사용 사례에서 LLM이 생성한 SQL의 성능을 향상시키는 강력한 쿼리 최적화 프로그램
- 비즈니스 컨텍스트와 언어를 캡슐화하고 새로운 데이터 뷰를 개발할 수 있는 유연하고 강력한 시맨틱 레이어
- 모든 단계에서 사용자 권한 및 데이터 보안을 적용하는 프로세스
(그림1) 쿼리 RAG 프로세스 및 단계
임베딩 검색의 목표는 프롬프트를 보강할 텍스트를 찾는 것이 아니라 쿼리할 올바른 데이터 뷰를 찾는 것이라는 점이 쿼리 RAG의 독특한 측면 중 하나입니다. 올바른 데이터 뷰와 올바른 SQL이 식별되면 여러 데이터 소스에서 테이블 형식의 데이터를 검색하여 답변을 다시 구성하는 데 사용됩니다.
쿼리 RAG는 강력하고 확장 가능한 방식으로 엔터프라이즈 데이터 리포지토리를 활용할 수 있는 기능을 제공합니다. 이 접근 방식은 AI 애플리케이션에 실시간 데이터를 임베딩하고 노출함으로써 기업이 비정형 데이터를 넘어 생성형 AI 기능을 확장하여 이전에는 볼 수 없었던 방식으로 실시간 인사이트를 제공하고 의사 결정을 개선하는 데 도움이 될 수 있습니다.
디노도 플랫폼 및 디노도 AI SDK
강력하고 성숙한 논리적 데이터 관리 솔루션인 디노도 플랫폼은 대규모의 복잡한 엔터프라이즈 환경에서 쿼리 RAG 구현을 지원하는 데 매우 적합합니다. 디노도 플랫폼의 데이터 가상화 엔진은 데이터 사일로 문제를 해결하고 통합된 안전한 액세스 포인트를 제공합니다. 개발자들은 LangChain 및 벡터 데이터베이스 기술과 같은 오케스트레이션 프레임워크를 활용하여 쿼리 RAG와 디노도 플랫폼을 사용하여 강력한 AI 챗봇과 애플리케이션 구축을 시작할 수 있습니다.
최근 출시된 디노도 AI SDK를 통해 이러한 새로운 유형의 AI 애플리케이션을 구축하는 과정을 더욱 간소화하고자 합니다. 디노도 AI SDK에는 LangChain 오픈 소스 라이브러리와 모든 LLM 및 벡터 데이터베이스와 사전 구축된 통합이 포함되어 있습니다. 다양한 통합 옵션을 제공함으로써 디노도 고객은 특정 LLM 제공업체에 종속되지 않고 AI 생태계에서 자유롭게 발전하고 혁신할 수 있습니다.
(그림2) 디노도 플랫폼 및 디노도 AI SDK
맞춤형 LangChain 플로우를 통해 AI SDK는 데이터 임베딩 및 오케스트레이션 프로세스를 자동으로 처리합니다. 또한, 사전 구축된 사용자 지정 프롬프트가 포함되어 있어 추가적인 개발 없이도 SQL 생성 및 데이터 쿼리 프로세스를 용이하게 합니다.
더 중요한 것은, 쿼리 RAG를 위해 설계된 API 세트를 제공함으로써 기존의 중앙 집중식 데이터 액세스 방식에 제약을 받지 않고 모든 데이터 저장소에서 대화형 환경을 쉽게 구축할 수 있게 해준다는 것입니다. 즉, 분석 기반 질문은 물론 라이브 프로덕션 데이터를 실시간으로 활용하는 운영 요청을 지원할 수 있습니다. 동시에, 디노도 플랫폼은 필요한 데이터 보안 및 거버넌스 정책을 시행하여 추가적인 작업 없이 데이터 액세스 및 사용을 기업의 규정에 맞춰 조정합니다.
마지막으로, 지속적인 혁신을 촉진하기 위해 디노도 AI SDK와 챗봇 애플리케이션 예제가 아파치 오픈 소스 라이선스에 따라 무료로 공개되었습니다. 또한 무료 디노도 익스프레스 제품의 일부로 번들되어 제공됩니다. 누구나 지금 바로 큰 초기 비용 없이 AI SDK 파이썬 소스 코드를 다운로드 및 확인, 수정하고 엔드투엔드 생성형 AI 애플리케이션을 빠르게 실험하고 평가할 수 있습니다.
데이터 에이전트 및 AI 애플리케이션
디노도 AI 에이전트는 강력하지만, 기업에는 더 많은 기능이 필요합니다. 이는 오늘날 시중에 나와 있는 거의 모든 AI 에이전트나 애플리케이션에 해당되는 이야기입니다. 엔터프라이즈 AI의 미래에는 각각 고유한 기술과 역량을 갖춘 여러 AI 에이전트가 함께 작동할 것이라고 예상합니다.
우리는 데이터 에이전트가 에이전트 세계의 기본 축을 형성하는 미래를 보고 있습니다. 디노도와 SDK로 구동되는 데이터 에이전트는 확장 가능하고 최적화되며 안전한 방식으로 데이터를 검색하고 모든 정형 데이터 저장소와 상호 작용하도록 구성되고 최적화된 전문 에이전트가 될 것입니다. 디노도 AI SDK와 API 엔드포인트는 처음부터 이러한 데이터 에이전트의 개발을 지원하기 위한 것이었습니다. 현재, OpenAPI를 지원할 뿐만 아니라 다양한 상호 작용 방법과 모드도 지원합니다.
(그림3) 디노도 AI SDK API 스웨거 문서
디노도 기반 데이터 에이전트는 이미 Microsoft Teams 및 Slack과 같은 플랫폼을 통해 강력한 인사이트와 상호 작용을 제공할 수 있습니다. 이러한 유형의 데이터 에이전트는 사용자가 수백 개의 사전 구축된 PowerBI 대시보드에 의존하는 대신 개방형 질문을 할 수 있도록 지원합니다. REST 및 OpenAPI와 같은 개방형 표준을 수용함으로써, 디노도는 고객이 현재와 미래에 다른 AI 에이전트 및 시스템과 협업할 수 있는 디노도 데이터 에이전트를 쉽게 배포할 수 있도록 하려고 합니다.
데이터 사일로에서 지능형 데이터 에이전트까지
가트너는 최근 AI 지원 데이터 요구 사항과 기존 데이터 관리 기능 간의 문제에 대해 이야기했습니다. 엔터프라이즈 환경의 데이터 사일로와 관련된 데이터 배포 및 액세스 문제는 오랫동안 중요한 과제였습니다. 이러한 문제는 생성형 AI의 등장으로 더욱 두드러져 차세대 AI 에이전트의 개발과 배포를 방해하는 주요 요인으로 작용하고 있습니다.
그러나 이러한 기존의 장벽은 이제 혁신의 기회로 여겨져야 합니다. 디노도 플랫폼 및 AI SDK와 같은 도구와 쿼리 RAG와 같은 새로운 접근 방식을 통해 기업은 혁신적 역량을 확보하여 즉각적이고 영향력 있는 AI 기반 인사이트를 확보할 수 있습니다.
퍼킨스 코이(Perkins Coie)와 페스토(Festo)와 같은 기업이 어떻게 이러한 미래를 수용하고 디노도 플랫폼을 사용하여 AI 기반 혁신에 필요한 기반을 구축했는지 확인해 보시기 바랍니다. 더 좋은 방법은 지금 바로 디노도 익스프레스를 무료로 다운로드하여 자신만의 데이터 에이전트 및 챗봇을 구축하는 것입니다. 또는 깃허브 AI SDK 리포지토리에서 디노도 AI SDK 코드베이스를 확인하고 커스터마이징할 수 있습니다.
AI 여정을 처음 시작하든, 현재 역량을 강화하든, 지금이 바로 이러한 혁신적인 도구를 활용할 수 있는 완벽한 시기입니다. 지금 바로 데이터 전략을 혁신하고 기업에서 AI의 미래를 정의할 최첨단 솔루션을 위한 기반을 마련해 보시기 바랍니다.
