지금은 특히 데이터 분야에서 흥미롭지만 도전적인 시기입니다. 생성형 AI는 도전 과제와 함께 데이터의 새로운 현실에 대한 희망을 가져왔습니다. 아직 해결해야 할 과제가 남아있지만, 이제 우리는 AI가 놀라운 가치를 가져올 수 있다는 새로운 생각을 갖게 되었습니다. 저는 이를 직접 확인했을 뿐만 아니라 소규모 및 대규모 프로젝트 모두에서 ad-hoc 분석, 메트릭, 최적화, 계획 및 통합과 같은 일상적인 작업을 지원하기 위해 데이터 관리가 중요하다는 사실도 확인했습니다. 사실 데이터 관리는 항상 이러한 중요한 활동의 핵심이었습니다.
10여 년 전, 우리는 섀도우 IT로 데이터에 액세스하려는 비즈니스 사용자의 노력을 지원했으며, 비즈니스 사용자가 데이터에 액세스할 수 있게 되면 혁신과 성장으로 이어지는 창의성과 독창성을 촉발할 수 있다는 것을 확인했습니다. 이제 많은 데이터 아키텍트는 이러한 노력을 강화하는 동시에 안전하게 지원할 수 있는 방법을 찾아야 합니다. 이는 항상 어려운 과제였지만, 오늘날에는 데이터를 저장하고 액세스 속도를 높이는 데 도움이 되는 새로운 기술이 많이 있습니다.
더 빠른 데이터베이스, 데이터 레이크, 병렬 처리 기능을 갖추고 있으며, 온프레미스와 클라우드 모두에서 정보를 이동하고 저장할 수 있는 옵션을 제공합니다. 데이터 처리를 자동화할 수 있는 최신 형식의 데이터 파이프라인에 ETL과 ELT를 갖추고 있습니다. 분석, 머신러닝, AI를 위해 구축된 플랫폼이 있습니다. 지속성을 위한 다양한 기술이 다시 등장하고 있지만, 결국 가장 중요한 것은 여전히 데이터 스토리지입니다. 이러한 발전은 훌륭하지만 이는 사용자 경험의 한 요소에 불과하다고 생각합니다.
기업 사용자는 누구이며, 무엇을 원하나요
일반적으로 사용자라고 하면 비즈니스 분석가나 데이터 과학자를 떠올리지만, 저는 최종 사용자, 비즈니스 파트너, 애플리케이션, 통합, AI 애플리케이션, 그리고 앞으로 등장할 모든 사용자를 새로운 사용자 계층으로 생각해야 한다고 생각합니다. 또한 개발자, 변화 관리 담당자, 아키텍트, 지원 담당자 등도 함께 고려해야 한다고 생각합니다. 이러한 모든 사용자가 데이터 관리에서 중요한 역할을 하며, 이들의 경험을 어느 정도 해결할 수 있느냐에 따라 구현의 성패가 좌우될 수 있기 때문입니다.
이러한 사용자가 무엇을 원하는지 평가하면 아키텍처가 무엇을 해결해야 하는지 더 잘 이해할 수 있습니다. 기본적으로 정보에 액세스해야 하는 사람들이 있지만, 이와 함께 일관성, 사용성, 모든 것을 지원하는 프로세스와 기능도 필요합니다. 제 경험에 따르면 이러한 영역 중 어느 하나라도 문제가 발생하면 솔루션 채택의 기회가 무산되고 솔루션이 유지될 수 없게 됩니다. 생각해 보세요. 비즈니스 분석가가 멋진 보고서나 대시보드를 만들었는데 사용자가 기초 데이터에 액세스할 수 없다고 가정해 보세요. 사용자가 액세스 권한을 얻기 위해 따라야 하는 프로세스는 무엇일까요. 이 프로세스는 얼마나 복잡하고 답답할까요. 대시보드는 매우 빠를 수 있지만, 액세스 권한을 얻는 과정이 번거롭다면 지원 프로세스에 부담을 주고 솔루션 필요에 대한 사용자의 마음을 굳히게 됩니다. 다른 유사한 시나리오도 많이 생각하실 수 있을 것입니다.
훌륭한 경험을 위해 데이터를 어떻게 관리할까요
먼저, 훌륭한 경험을 구성하는 요소를 정의해야 하는데, 이를 아래 문장으로 요약할 수 있다고 생각합니다:
- "필요한 것을 찾을 수 있습니다."
- "필요한 정보에 액세스할 수 있습니다."
- "내가 해야 할 일을 할 수 있습니다."
- "내가 무엇을 사용하고 있는지 이해합니다."
- "어디서 도움을 받을 수 있는지 알고 있습니다."
이러한 진술은 토론을 위한 좋은 출발점이 될 수 있으며, 데이터 아키텍처에서 이를 어떻게 고려할 수 있을지 생각해 보세요. 다음으로 이러한 진술을 염두에 두고 사용자 경험에 대한 영향력 다이어그램을 정의해 보았습니다.
사용자 경험에 영향을 미치는 요소는 다음과 같습니다:
- 일관성 - ("필요한 것을 찾을 수 있습니다.") 이는 정보에 대한 프로세스와 경로가 확립되어 있다는 것을 의미합니다.
- 접근성 - ("필요한 정보에 액세스할 수 있습니다.") 데이터 관리의 주된 목적은 다양한 유형의 사용자에게 데이터에 대한 안전한 액세스를 제공하는 것입니다.
- 성능 - ("필요한 작업을 수행할 수 있습니다.") 사용자가 정보를 얻기 위해 얼마나 오래 기다려야 하나요. 보고서와 대시보드가 얼마나 빨리 새로 업데이트 되나요.
- 사용성 - ("나는 내가 무엇을 사용하고 있는지 이해한다.") 데이터 관리 플랫폼은 이해하기 쉽고, 광범위한 사용 패턴과 필요한 기능을 제공하며, 사용이 간편하고 신뢰할 수 있을 때 사용할 수 있는 플랫폼입니다.
- 지원 가능성 - ("어디서 도움을 받을 수 있는지 알고 있습니다.") 지원 가능한 데이터 관리 플랫폼은 보안, 변경 제어, 분류, 모니터링, 보안 및 감사와 함께 테스트 메커니즘을 지원하고 간소화하여 신뢰를 심어주는 것을 의미합니다.
데이터 패브릭으로 사용자 중심의 데이터 관리 지원
데이터 패브릭은 저장 위치, 형식, 속도에 관계없이 다양한 위치의 데이터를 실시간으로 통합하고 관리할 수 있도록 지원하는 시스템입니다. 데이터를 결합하고, 정리하고, AI를 사용하여 분석하고, 의미를 부여하는 도구와 같은 유연한 구성 요소를 사용하여 구축됩니다. 이를 통해 사람들이 필요한 데이터에 더 쉽게 액세스할 수 있고, 데이터에서 유용한 인사이트를 얻는 속도가 빨라지며, 여러 분산 시스템에서 데이터를 안전하게 보호하고, 비공개로 유지하며, 체계적으로 정리할 수 있습니다.
데이터 패브릭은 데이터 관리 아키텍처를 크게 향상시킬 수 있습니다. 아래는디노도 플랫폼의논리적 데이터 관리기능으로 구현된논리적 데이터 패브릭이 어떻게 훌륭한 사용자 경험의 결정 요인을 간소화할 수 있는지 보여주기 위해 다시 만든 영향력 다이어그램입니다.
일관성
사용자는 일관성에 대한 본능적인 욕구를 가지고 있으며, 이는 액세스 지점부터 보안, 프로세스에 이르기까지 데이터 관리 인프라의 다양한 수준에 적용될 수 있습니다. 이는 일관성의 문제를 강조하는 몇 가지 영역에 불과하며, 제 경험상 일관성과 관련하여 비즈니스 사용자의 관점을 이해하는 것이 중요합니다.
디노도 플랫폼을 사용하면 사용자는 더 이상 정보에 액세스하기 위해 어디로 가야 할지 고민할 필요가 없으며, 한 곳에서 모든 것을 해결할 수 있어 혼란이 줄어듭니다. 또한 글로벌 보안 정책으로 디노도 플랫폼에서 보안을 관리하면 이해하기 쉽고 관리 가능하며 감사할 수 있는 일관된 보안을 확보할 수 있습니다. 역할 및 사용자 속성을 기반으로 보안을 제공할 수 있으므로 사용자가 액세스를 요청할 필요조차 없습니다. 사용자는 디노도 데이터 카탈로그에서 직접 필요한 요청을 할 수 있으며 이러한 요청은 사고 관리 시스템 및 프로세스와 통합될 수 있습니다.
접근성
비즈니스 사용자에게 데이터에 대한 액세스는 다양한 데이터베이스나 스토리지 시스템에서 필요한 정보를 빠르고 쉽게 검색하여 의사 결정과 전략 계획을 추진할 수 있다는 것을 의미합니다. 여기에는 단순히 데이터를 가져오는 능력뿐만 아니라 데이터를 분석하고 해석하여 일상적인 업무와 장기적인 비즈니스 목표에 효과적으로 활용할 수 있는 능력도 포함됩니다.
분산된 환경에서 여러 데이터 웨어하우스 또는 데이터 레이크를 관리하는 것은 상당한 도전 과제와 함께 흥미로운 기회를 제공합니다. 여기서 핵심은 연결성입니다. 서로 다른 저장 공간에서 데이터에 원활하게 액세스할 수 있다면 데이터를 분석하고 현명한 결정을 내리는 능력이 크게 향상될 수 있습니다. 하지만 이러한 환경의 복잡성도 무시할 수 없습니다. 이러한 복잡성으로 인해 데이터 액세스에 소요되는 시간이 길어지고 보안 및 규정 준수와 관련된 문제가 발생하며, 사용자가 필요한 액세스를 얻기 위해 해결 방법을 찾다 보면 문제가 더욱 복잡해집니다.
디노도 플랫폼은 데이터의 위치와 관리 방식에 관계없이 데이터에 대한 보편적인 액세스를 제공합니다. 디노도 플랫폼이 지원하는 논리적 데이터 패브릭을 통해 사용자에게 탁월한 경험을 제공할 수 있습니다.
성능
성능은 특히 대시보드와 리포팅에 있어 중요한 문제입니다. 오늘날 많은 지속성 옵션이 매우 빠르기 때문에 기대치가 높습니다. 하지만 이러한 빠른 시스템으로 데이터를 옮기는 데 드는 비용, 시간, 오버헤드를 정당화해야 하는 과제가 있습니다. 경우에 따라서는 비즈니스상의 이유로 여러 시스템을 사용하는 경우도 있습니다. 어떤 상황에서는 법률, 정책 또는 규제상의 이유로 데이터를 이동할 수 없습니다. 따라서 여러 소스에서 우수한 성능을 제공해야 하는 과제에 직면하게 됩니다.
디노도 플랫폼은 다양한 소스에서 성능을 최적화하는 가장 진보된 기술입니다. 액티브 메타데이터, 인공 지능(AI), 다년간의 경험을 활용하여 시스템 전반에서 최적화된 쿼리를 제공합니다. 더 복잡한 쿼리를 위한 임베디드 MPP 엔진과 수많은 시나리오에서 최적의 성능을 위한 다양한 캐싱 옵션에 액세스할 수 있습니다.
또한 디노도 플랫폼은 사용자가 원하는 방식으로 데이터 자산을 관리할 수 있도록 지원합니다. 새로운 기술로 마이그레이션하거나, 더 저렴하거나 빠른 스토리지로 이동하거나, 다른 포맷이나 스토리지 위치로 이동하거나, 아키텍처의 다른 레벨로 이동하는 등 어떤 이유로든 필요한 곳으로 데이터를 옮길 수 있습니다. 디노도 플랫폼의 최적화 기능이 항상 최상의 성능을 제공하기 위해 작동한다는 사실을 알고 데이터를 이동할 수 있습니다.
사용성
사용성은 여러 측면에서 일관성과 관련이 있습니다. 사람의 편안함 수준에 따라 어떤 것이 유용하고 따라서 가치 있다고 생각하는지 여부가 결정될 수 있습니다. 비즈니스 사용자의 도구에 대한 친숙도는 해당 사용자의 생산성을 결정할 수 있습니다. 오늘날에는 시스템, 데이터 과학자, 개발자부터 최종 보고서 소비자에 이르기까지 다양한 사용자가 있습니다. 이 폭넓은 범위에서 요구 사항의 균형을 맞추는 것이 필수적입니다. 디노도 플랫폼은 REST, GraphQL, ODATA 등의 형식을 지원하는 API 및 SQL 기반 전달 방법을 제공합니다.
또한, 디노도 플랫폼은 비즈니스 사용자가 직관적인 로우/노코드 웹 인터페이스를 통해 데이터 준비를 수행할 수 있도록 지원합니다. 고급 사용자가 데이터 프로덕트를 생성할 수 있는 웹 인터페이스도 있습니다. 비즈니스 사용자는 보안이 유지되는 상태에서 디노도 플랫폼의 시맨틱 레이어를 사용하여 프로덕트를 생성하고 공유할 수 있습니다.
디노도는 이름 지정 및 설명에 AI를 구현하고, 생성형 AI를 사용하여 모든 사용자가 조직에서 유용한 답변을 얻을 수 있도록 지원함으로써 데이터 사용을 더욱 간편하게 만들기 위해 지속적으로서비스를 개선하고 있습니다.
지원 가능성
위에서 다룬 대부분의 영역도 지원 가능성에 영향을 미칩니다. "어디서 도움을 받을 수 있는지 알고 있다"는 말과 함께 "이 데이터가 제대로 보이지 않는다", "필요한 것을 찾을 수 없다", "액세스 권한이 없다"와 같은 기본적인 표현도 지원이 필요하다는 것을 나타냅니다. 데이터 유출이나 시스템 중단과 같은 주요 문제도 지원이 필요합니다.
시스템 변경, 개선 사항, 정책 변경, 리소스 관리 프로세스, 새로운 프로젝트, 신기술 등 기업 생태계에 변화를 일으킬 수 있는 모든 것을 고려해야 합니다. 지원 가능성을 고려하여 설계된 데이터 관리 아키텍처는 훌륭한 사용자 경험을 위해 필수적입니다.
디노도 플랫폼에는 플랫폼 내에서 발생하는 모든 활동에 대한 모니터링 및 감사 기능이 내장되어 있습니다. 따라서 문제 발생 시 어디서부터 지원을 시작해야 할지 고민해야 하는 부담을 줄여줍니다. 로우 코드/노 코드, 계층화된 개발 접근 방식과 AI 기반 지원이 결합되어 문제의 원인을 찾는 것이 간소화됩니다.
디노도 플랫폼은 자동화된 CI/CD 프로세스에 통합할 수 있는 테스트 도구도 제공합니다. 데이터와 보안을 검증하기 위해 무수히 많은 테스트를 수행할 수 있습니다. 이는 데이터 제품의 개선 사항이 지속적으로 요구 사항을 충족하는지 확인할 수 있는 좋은 방법입니다.
오늘날 인프라의 모든 움직이는 부분과 그 비용을 고려할 때, 디노도 플랫폼은 소스 변경으로 인해 필요한 많은 조정을 비즈니스에 거의 또는 전혀 중단 없이 관리할 수 있어 안심하고 사용할 수 있습니다. 또한 다운타임이 거의 또는 전혀 없이 업그레이드, 유지보수, 코드 마이그레이션이 가능한 고가용성 구성을 지원합니다.
사용자를 염두에 두기
데이터 관리의 미래는 기술의 견고성뿐만 아니라 다양한 사용자층의 진화하는 요구를 충족시킬 수 있는 적응력에도 달려 있다는 것은 분명합니다. 일관성, 접근성, 성능, 유용성, 지원성을 제공하는 데 있어 복잡한 몇 가지 사항을 살펴본 것처럼, 다양한 사용자의 요구를 염두에 두고 데이터 관리 인프라를 단순화하고 향상시킬 수 있는 디노도 플랫폼의 잠재력을 보여드렸기를 바랍니다.
