흥미로운 질문입니다. AI 준비성에 대한 광범위한 연구를 수행한 후, 저는 이 문제에 대한 전문가들의 의견을 이해하려고 노력했습니다. 랜드 코퍼레이션의 놀라운 통계 중 하나는 인공 지능(AI) 프로젝트의 80%가 실패한다는 것입니다. 마찬가지로 딜로이트의 연구에 따르면 70%에 가까운 제너레이티브 AI(GenAI) 프로젝트가 확장 능력이 부족하여 개념 증명 단계에서 멈춰 있는 것으로 나타났습니다. 와튼의 연구에 따르면 경영진의 50% 이상이 AI에 대한 준비가 되어 있지 않다고 생각하는 것으로 나타났습니다. 이는 실제 AI 구현, 특히 대규모 구현에 있어 진정한 전문가가 거의 없다는 것을 시사합니다. 하지만 대규모 AI 이니셔티브를 이끌었던 제 자신의 경험을 되돌아보면서 제 인사이트가 다른 사람들이 AI 준비 상태를 평가하는 데 도움이 될 수 있다는 것을 깨달았습니다.
정말로 준비가 되셨나요?
준비의 개념은 까다로울 수 있습니다. 언제 직업을 바꿀지, 아이를 낳을지, 결혼할지 등 우리가 인생에서 직면하는 질문들을 떠올리게 합니다. 우리는 종종 자신이 언제 준비되었는지 알 수 있다고 생각하지만, 실제로는 일이 시작된 후에야 준비가 제대로 되었는지를 알 수 있는 경우가 많습니다. 첫 아이를 가졌을 때 저는 모든 준비가 끝났다고 생각했습니다. 가장 안전한 유모차를 구입했고 천 기저귀도 선택했습니다.
하지만 막상 육아를 시작하고 나니 차에 겨우 들어가는, 부피가 큰 유모차나 제 라이프스타일에 맞지 않는 천 기저귀 등 아무리 준비했다고 생각해도 예상하지 못한 일들이 많다는 것을 깨달았습니다. AI도 마찬가지입니다. 준비는 중요하지만 지나친 준비는 오히려 우리를 마비시킬 수 있습니다. 핵심은 변화에 열린 자세를 유지하면서 혁신이 반복되는 속성을 수용하는 것입니다. AI는 한 번의 결정으로 끝나는 것이 아니라 여정입니다.
AI로의 여정
2015년에 저는 흥미로운 AI 여정의 일원으로 참여할 기회를 가졌습니다. 그때는 MLOps, DataOps와 같은 운영(Ops)이라는 용어가 등장하기 전이었습니다. 바로 빅데이터의 시대, 즉 현재의 데이터 및 분석 시대가 시작되던 시기였습니다. 기업들이 데이터에서 더 많은 가치와 경쟁 우위를 확보하려고 시작한 때입니다. 이 시기에 AI에 대규모로 투자한 조직은 선구자였으며, 실패할 확률은 85%보다 훨씬 높았을 것입니다. 저와 동료들은 흥미로운 일을 시작했지만, 비즈니스 혁신 에이전트로서 AI를 도입하는 것이기에 불확실성이 가득했습니다.
당시 저는 식품 산업의 글로벌 회사에서 일하고 있었는데, 이 이니셔티브의 기술 책임자가 될 기회가 주어졌습니다. 경영진은 AI를 활용해 제품 개발을 강화함으로써 시장에서 경쟁력을 유지하길 원했습니다. 개발자가 더 창의적이고 더 빠르게 작업할 수 있도록 돕는 AI 시스템을 만들고 싶었습니다. 이러한 비전은 저희의 능력 밖의 일처럼 보였고, 많은 사람들이 저희를 준비되지 않았다고 평가했습니다. 하지만, 저희는 이를 실현해야 한다는 사명감을 가졌고 경영진의 지원도 받았습니다. 비슷한 AI 이니셔티브를 시도했던 많은 기업들이 프로젝트 실패로 인해 큰 손실을 경험하고 있었습니다. 안타깝게도 오늘날에도 많은 AI 및 디지털 혁신 프로젝트가 어려움을 겪고 있는 상황은 그때와 거의 비슷합니다.
당면한 어려움에도 불구하고 개발을 시작한 지 1년 만에 AI 프로젝트를 성공적으로 구현했으며, 수년에 걸쳐 지속적으로 개선하고 업무에 적용했습니다. 당시의 여정을 되돌아보면 성공의 핵심 원동력이 무엇인지 다시금 생각하게 됩니다:
- 비용과 가치가 명확한 프로젝트를 선택하세요.
첫 번째 AI 프로젝트를 진행할 때는 비즈니스 프로세스, 사고방식의 변화, 새로운 기술 도입에 따른 비용에 대비해야 합니다. 혁신적인 AI를 구축하고 구현하는 것은 기업의 모든 측면을 변화시키는 일입니다. 경쟁력 향상, 고객 친밀감 증대, 글로벌 지식과 전문성 확대, 제품 품질 향상, 프로세스 최적화 등과 같은 가치를 측정하는 방법이 필요합니다. AI가 가져올 수 있는 가치와 그 가치를 실현하는 데 걸리는 시간을 이해하는 것이 중요합니다. 또한, 외부 전문가를 활용할 때의 비용과 이점을 사내 리소스와 신중하게 비교해야 합니다.
AI 프로젝트는 ROI에 대한 명확한 이해를 바탕으로 진행되어야 합니다. 프로젝트의 영향을 측정하고 예상대로 가치가 실현되도록 점검하는 메커니즘을 구축해야 합니다. 디노도 플랫폼이 지원하는 논리적 데이터 패브릭을 사용하여 사용자 현황, 프로세스 준수, 개발 시간, 제품 평가, 재료 사용, AI에서 영감을 받은 제품, 매출 등과 같은 여러 측정 항목에 대한 지속적인 인사이트를 얻을 수 있었습니다.
또한, 사용자가 비즈니스 프로세스 지침을 얼마나 잘 따르고 있는지 검토하고 측정할 수 있었습니다. 사용자들은 AI 모델이 제대로 학습하려면 데이터를 생성할 때 데이터를 이해하는 것이 중요하다는 것을 이해했습니다. 논리적 데이터 패브릭을 통해 데이터 과학자와 분석가는 프로젝트가 진행됨에 따라 메트릭과 측정값을 신속하게 조정할 수 있었습니다. 이러한 메트릭을 목표와 연결시켜 관리자와 최종 사용자가 필요에 따라 인사이트를 얻을 수 있었습니다.
데이터를 즉시 평가할 수 있는 시뮬레이션을 실행하여 모델의 결과를 측정할 수 있었습니다. 이를 통해 시간이 지남에 따라 모델을 개선하고 향상시킬 수 있는 방법을 안내하는 데 도움이 되었습니다.
이러한 유형의 프로젝트는 본질적으로 반복적이며, 이를 통해 비즈니스 가치를 얻으려면 업무 프로세스의 일부로 만들어야 합니다. 따라서 이러한 프로젝트의 여러 측면을 측정하는 것은 성공과 지속적인 개선을 위해 매우 중요합니다.
- 경영진 지원의 중요성
경영진이 이니셔티브를 전적으로 뒷받침할 때 장애물을 제거하고, 리소스를 할당하고, 진전을 이끌어낼 수 있습니다. 또한, 경영진은 주어진 미션에 대한 집중을 유도하고 조율이 필요한 시기를 평가하는 데에도 매우 중요합니다. 리더십은 조직 전체에서 변화의 영향을 받는 모든 영역에 대한 커뮤니케이션과 변화 관리를 주도하는 데 도움이 됩니다. 이들의 헌신은 프로젝트를 진전시키고 적시에 성공하는 데 큰 차이를 만듭니다.
- 다양한 분야로 구성된 협업 팀 육성
프로젝트의 성공은 응집력 있고 협업 능력이 뛰어난 팀 덕분이었습니다. 경영진, 외부 AI 연구원, 비즈니스 분야 전문가, 변화 관리 전문가, IT 전문가가 한데 모였습니다. 이러한 다양한 관점과 기술이 필수적이었습니다. 비즈니스 전문가들은 업계에 대한 지식을 공유했고, IT는 필요한 인프라와 기술, 데이터 프로덕트를 제공했습니다. AI 연구원들은 이 데이터를 비즈니스 목표에 부합하는 모델로 변환했습니다. 빈번하고 신속한 협업을 통해 모두가 목표에 집중하면서 빠르게 움직일 수 있었습니다. 특히 데이터와 관련된 커뮤니케이션은 비즈니스의 언어로 이루어졌습니다.
- 민첩성을 위한 논리적 데이터 패브릭 활용
제 경험상 AI의 가장 큰 과제는 모델 생성에 있다는 믿음이 압도적입니다. 유능한 AI 연구원이 비즈니스 프로세스를 수학적 모델로 변환하고 이를 해석해야 하기 때문에 이 작업에는 분명 상당한 어려움이 있습니다. 하지만 이 작업을 시작하려면 누군가는 기업 내 활동과 프로세스를 반영하고 이해 가능한 구성 요소로 변환해야 합니다. 그런 다음, 기업의 복잡성에 관계없이 이 정보를 지속적으로 전달하는 것이 과제입니다.
왜 논리적 데이터 패브릭일까요?
우리가 채택한 가장 중요한 기술적 접근 방식 중 하나는 논리적 데이터 패브릭을 통한 추상화를 활용하는 것이었습니다. 이 접근 방식을 통해 데이터 소스 위에 통합된 시맨틱 계층을 구축하여 모든 데이터를 비즈니스 언어로 자동 번역할 수 있었습니다. 기업 환경이 진화하는 동안에도 AI 연구자와 비즈니스 사용자에게 일관된 엔터프라이즈 데이터 모델을 제공했습니다. 추상화라는 개념은 소프트웨어 엔지니어링에 뿌리를 두고 있는데, 시스템 한 부분의 변경이 전체에 영향을 미치지 않도록 하는 캡슐화와 모듈화가 핵심입니다. 엔터프라이즈 데이터 설계자로서 저는 이러한 원칙을 강화하는 기술이 프로젝트의 요구에 부응하는 데 도움이 될 것이라는 생각에 이 논리적 접근 방식을 연구하고 모색했습니다.
빠르게 변화하는 데이터 환경은 중대한 도전 과제였습니다. 공유한 정보의 무결성을 유지하면서 AI 모델에 '새로운' 데이터를 신속하게 제공해야 했습니다. 논리적 데이터 패브릭을 구현하고, 필요에 따라 데이터를 관리하고 제공할 수 있는 추상화 계층을 구축했습니다. 이 계층은 시스템과 비즈니스 프로세스의 변경으로부터 우리를 보호하여 민첩성을 제공하는 동시에 AI 연구에 필요한 일관성과 안정성을 보장했습니다. 디노도 플랫폼의 논리적 데이터 패브릭을 추상화 계층으로 사용함으로써 데이터 소스의 동적인 특성에도 불구하고 비즈니스 언어로 실시간 온디맨드 데이터 액세스를 유지할 수 있었습니다.
이러한 접근 방식을 통해 기존 시스템의 기능을 유지하면서 혁신적인 AI 프로젝트의 요구사항을 충족할 수 있었습니다. 추상화를 통해 일관되고 신뢰할 수 있는 정보를 제공할 수 있었으며, 이는 AI 모델과 전체 프로젝트의 성공에 핵심적인 역할을 했습니다.
데이터 품질을 높이는 비즈니스 프로세스
AI 프로젝트에서 데이터 품질은 매우 중요하지만, 데이터 품질은 데이터를 생성하는 프로세스의 영향을 받는다는 점을 이해하는 것이 중요합니다. 비즈니스 프로세스가 비효율적이거나 일관성이 없을 경우, 데이터에 이러한 문제가 그대로 반영됩니다. 경험상, 데이터 파이프라인, 추출, 변환 및 로드(ETL) 작업 또는 기타 변환 메커니즘과 같은 다운스트림에서 데이터 품질 문제를 해결하는 것은 많은 비용과 시간이 소요될 수 있습니다. 대신 비즈니스 프로세스를 개선하여 소스에서 이러한 문제를 해결하는 것이 훨씬 더 효율적입니다.
바로 이 지점에서 논리적 데이터 패브릭을 활용하는 것이 매우 중요해졌습니다. 추상화 계층을 구현함으로써 비즈니스 사용자에게 프로세스에서 생성되는 데이터에 대한 직접적인 인사이트를 제공할 수 있었습니다. 실시간 데이터 뷰를 통해 비즈니스 사용자는 그동안 인식하지 못했던 프로세스의 문제와 비효율성을 확인할 수 있었습니다. 예를 들어, 많은 사용자가 프로세스가 간소화되었다고 생각했지만 데이터를 통해 예상하지 못했던 불일치와 비효율성이 드러났습니다. 또한, 사람들이 기존 프로세스를 얼마나 잘 준수하고 있는지 평가하여 적절한 메커니즘을 도입할 필요가 있는지 판단할 수 있었습니다.
이와 같은 새로운 가시성을 통해 사용자는 프로세스 수준에서 이러한 문제를 해결하여 데이터의 품질과 운영의 효율성을 모두 개선할 수 있게 되었습니다. 논리적 데이터 패브릭을 통해 비즈니스 사용자는 자신의 언어와 워크플로우를 반영하여 자신에게 적합한 방식으로 데이터와 상호 작용할 수 있었습니다. 그 결과, 조정이 필요한 부분에 대해 정보에 입각한 의사 결정을 내릴 수 있었습니다. 구체적인 데이터 인사이트를 기반으로 문제를 조기에 해결할 수 있는 이러한 능력은 AI 모델에 공급되는 데이터의 품질을 크게 개선하여 궁극적으로 더 정확한 결과를 제공했습니다.
즉, 논리적 데이터 패브릭은 단순히 데이터만 제공하는 것이 아니라 비즈니스 프로세스에 대한 실행 가능한 인사이트를 제공하여 지속적인 개선과 조직 운영의 필요한 조율을 가능하게 했습니다. 이 기능은 데이터 품질과 전반적인 프로젝트 성공의 핵심 원동력이 되었습니다.
민첩성이 핵심
내부 리소스를 사용하든 외부 리소스를 사용하든 거의 항상 시간이 부족합니다. 민첩성을 갖추면 빠르게 적응하여 비용과 가치 실현 시간을 단축할 수 있습니다. 데이터는 AI 프로젝트를 주도하며, 데이터의 위치나 저장 방식에 관계없이 데이터를 식별하고, 합의하고, 통합하고, 신속하고 일관성 있게 전달하는 능력은 AI 연구원이 모델 개발을 반복하는 데 매우 중요합니다. 논리적 데이터 패브릭이 제공하는 추상화를 통해 데이터 교환을 위한 계약을 생성할 수 있었기 때문에 각 팀이 독립적으로 작업하면서 프로젝트의 모든 부분을 순조롭게 진행할 수 있었습니다.
예를 들어, 프로젝트 초기에는 외부 데이터 소스를 통합해야 했습니다. 논리적 데이터 패브릭을 사용하여 여러 옵션을 평가하고 일주일 이내에 서비스를 선택했습니다. 이 접근 방식을 통해 외부 정보를 내부 데이터와 효율적으로 통합하여 가치 있는 데이터 프로덕트로 신속하게 전환할 수 있었습니다. 또한, 새로운 기능을 시스템 전체에 적용하기 전에 모델에서 테스트할 수 있는 프로토타입을 제작할 수 있었습니다. 이러한 데이터 관리의 민첩성은 더 빠른 실험과 반복을 지원하여 프로젝트의 전반적인 성공에 매우 중요한 역할을 했습니다.
전략적으로 재사용 가능한 데이터 프로덕트 만들기
프로젝트 기간 동안 우리는 수많은 데이터 프로덕트를 만들었습니다. 논리적 데이터 패브릭을 통해 만들어진 이 프로덕트들은 AI 프로젝트에서만 사용할 수 있는 것이 아니라 재사용을 염두에 두고 설계되었습니다. 데이터 관리에 대한 이러한 전략적 접근 방식 덕분에 동일한 데이터 프로덕트를 재사용하여 분석 및 통합과 같은 다른 프로젝트를 지원할 수 있었습니다. 재사용 가능한 프로덕트를 구축함으로써 장기적으로 성과를 거둘 수 있는 효율성을 창출했습니다. 이러한 효율성은 데이터 프로덕트를 개선, 확장 및 지원하는 능력으로 확장되었습니다.
장기적인 영향
AI 이니셔티브는 조직에 긍정적인 영향을 미쳤으며 현재까지도 계속 발전하고 있습니다. AI는 새롭고 창의적인 아이디어를 제공하는 방법을 배워 개발 주기와 비용을 줄이는 데 도움이 되었습니다. AI의 얼리 어답터 중 하나가 됨으로써 고객과 친밀감을 형성하고 새로운 개발자를 유치할 수 있었습니다.
AI에 대한 준비가 되셨나요?
진정으로 완벽하게 준비된 사람이 있을까요? 아마도 그건 불가능할 것입니다. 하지만, 중요한 것은 시작하는 것입니다. 도전에 대비하고 혁신을 수용하며 가치 창출에 집중해 보세요. 논리적 데이터 패브릭을 통해 추상화를 활용하면 민첩성은 물론, 진화하는 AI 프로젝트의 요구 사항을 탐색하는 데 필요한 일관성과 회복탄력성을 확보할 수 있습니다. 이 여정의 일부분은 데이터 관리 접근 방식을 평가하고, 필요할 때 이를 개선하는 것입니다. AI의 성공은 처음부터 모든 해답을 가지고 있는 것이 아니라 올바른 기반을 구축
