데이터 메시, 패브릭, 클라우드를 설명하는 방법

아이작 사콜릭

InfoWorld 기고 편집자 |

CEO는 데이터베이스가 무엇인지 알고 있으며 아마도 데이터 웨어하우스가 보고 및 분석에 사용되는 대규모 데이터 저장소라고 생각할 것입니다. 이들은 NoSQL 데이터 저장소, Spark 클러스터가 필요한 이유, 데이터 레이크를 사용하여 정형 및 비정형 데이터를 수집하는 방법에 대해 거의 알지 못합니다.

CEO와 비즈니스 리더는 데이터, 분석, 기계 학습의 비즈니스 가치에 초점을 맞추고 기본 기술에는 관심을 두지 않습니다.

그러나 거기에는 역설이 있습니다. 그들은 새로운 기술에 시간과 돈을 투자하는 것의 가치를 이해하고 싶어하기 때문입니다. 데이터 메시, 데이터 패브릭, 분산 데이터 클라우드 등 최신 데이터 관리 기술을 설명하고 CEO가 당황하는 모습을 지켜보세요.

CEO뿐만이 아닙니다. Oracle, Microsoft 또는 오픈 소스 위에 데이터 웨어하우스를 구축할지 여부에 대한 주요 논쟁이 있었던 초기 웹 시절부터 데이터 기술은 폭발적으로 발전했습니다. 오늘날 많은 비IT 리더들은 데이터가 "클라우드에" 있고 데이터 통합, 품질 및 성능이 "IT 문제"라고 믿는 데 만족하고 있습니다.

데이터를 다루는 사람은 누구나 접근 가능한 언어로 가장 중요한 기술과 관행을 설명할 준비가 되어 있어야 합니다. 내 책 Digital Trailblazer에서는 웹이 처음 등장했을 때 스타트업 이사회 구성원들에게 브라우저 쿠키가 무엇인지 설명했던 이야기를 공유합니다. 기술적인 질문에 답하기 위해 언제 마이크를 넘겨받을지 알 수 없습니다. 테크노밥으로 대응하면 주요 투자를 쉽게 단념하거나 지연시킬 수 있습니다.

K3의 사장 겸 CEO인 Gordon Allott는 다음과 같은 간단한 대답부터 시작할 것을 제안합니다. "데이터 레이크, 데이터 웨어하우스, 메시 및 패브릭은 모두 회사 전체의 데이터 전략을 나타냅니다."

답변을 단순하게 유지하는 것이 중요하지만 그것만으로는 충분하지 않은 경우가 많습니다. 임원이 나에게 기술 용어에 대해 물을 때 나는 호기심과 후속 질문을 장려하는 방식으로 질문에 대답하고 싶습니다.

먼저 데이터 메시가 무엇인지부터 설명하겠습니다. Semarchy의 제품 마케팅 관리자인 Steven Lin은 다음과 같이 간결한 대답을 공유했습니다. "데이터 메시는 회사 내 여러 팀이 자체 데이터를 책임지고 협업과 유연성을 촉진하는 데이터 관리에 대한 분산형 접근 방식입니다."라고 말했습니다.

이 정의에는 복잡한 단어가 없으며 데이터 메시가 해결하려는 문제, 솔루션 유형 및 이것이 중요한 이유를 소개합니다.

그러나 특히 경영진이 다른 데이터 관리 기술에 대한 사전 지식을 갖고 있는 경우 더욱 기술적인 세부 사항에 대한 질문을 받을 것으로 예상됩니다. 예를 들어, "데이터 관리 문제를 해결하려면 데이터 웨어하우스와 데이터 레이크가 필요하지 않았나요?"

이 질문에 데이터 웨어하우스, 레이크, 메시 간의 기술적인 차이로 답한다면 함정이 될 수 있습니다. 대신, 비즈니스 목표에 대한 응답에 집중하세요.

Coalesce의 공동 창립자이자 CTO인 Satish Jayanthi는 다음과 같이 제안합니다. “데이터 품질은 종종 비즈니스 분석 및 의사 결정의 정확성에 영향을 미칩니다. 데이터 메시 패러다임을 구현하면 데이터의 품질과 정확성이 향상될 수 있으며, 결과적으로 정보에 입각한 의사 결정을 위해 데이터를 보다 광범위하게 활용할 수 있다는 기업 간의 신뢰가 높아집니다.”

저는 이 답변이 마음에 들며, 경영진이 데이터 메시 패러다임이 데이터 품질을 개선하는 데 어떻게 도움이 되는지 더 자세히 알아보기를 원합니다. Jayanthi는 이렇게 대답합니다. “핵심 원칙 중 하나인 도메인 소유권은 데이터를 생성하는 팀이 품질과 정확성을 책임지도록 보장합니다. 이러한 제품으로서의 데이터 원칙은 다른 그룹과 공유되는 데이터가 정확하고 재사용 가능하며 자체 문서화되고 높은 표준을 충족하도록 보장합니다.”

데이터 메시를 처음 접하고 기술적인 세부 사항을 자세히 알아보고 싶다면 모놀리식 데이터 레이크를 넘어 분산 데이터 메시로 이동하는 방법에 대한 Zhamak Dehghani의 중추적인 기사를 검토하는 것이 좋습니다.