チームスポーツ型のデータ活用:IT部門とビジネス部門の連携によるデータクオリティの強化

チームスポーツ型のデータ活用:IT部門とビジネス部門の連携によるデータクオリティの強化

  • David Talaga
    David Talaga is Senior Product Marketing Manager for Data Governance at Talend. David has a rich and diverse marketing experience, including strategic, field, and product marketing roles in data-driven organizations. After graduating from EDHEC, David started his career as a Data analyst in the Healthcare Industry. In 2000, he joined Dassault Systèmes where he held several senior positions, notably heading up the technology partnership program in Augmented Reality and the strategic alliance with Microsoft. In 2006, David joined Microsoft as Product Marketer for the Software Engineering Product Line. In 2014, he became Marketing Manager for a new EdTech Offering at John Wiley and Sons before joining Talend as Product Marketing for Data Governance Solutions.

データクオリティは、データエンジニアが単独で担うタスクと思われがちですが、これは完全に誤った認識です。ビジネス部門の人々は低品質なデータの影響を真っ先に受けるため、データ関連の課題の解決に熱心ですが、データの更新には積極的にかかわろうとしないことが多々あります。これは、データクオリティアプリがそのようなユーザーを念頭に設計されていなかったり、単に使用が許可されていなかったりするためです。このような理由から、低品質なデータが増え続けています。ガートナーによると、低品質なデータに起因するコストは2017年には50%増加し、1社あたり年間平均1,500万ドルに達しました。手をこまねいているだけでは、数年以内にコストは爆発的に増加するでしょう。

しかし、変化が訪れています。データクオリティは、今や全社をあげた戦略的な優先事項となり、さまざまな分野の専門家を巻き込みつつあります。スポーツチームのように組織が一丸となって臨むことが、あらゆるデータ品質の課題を解決するうえでの秘訣であると言えます。

  • チームスポーツのごとく、あらゆる角度からのアプローチが必要とされる。単一のアプローチでは成功は難しい
  • チームスポーツのごとく、チームを成功させ勝利に導くために実践すべきことがある
  • チームスポーツのごとく、ビジネス/ITチームがデータクオリティの課題に立ち向かうには、適切なツール、適切なアプローチ、そして適切な人材が必要である

とは言え、これはそれほど難しいことではありません。課題を特定し、スタートから正しい方法で取り組んでいくだけです。

  1. 適切なツール:シンプルで相互接続されたアプリで複雑さを克服する

市場には多くのデータクオリティツールが溢れています。ビッグデータの展示会では、データプレパレーション/スチュワードシップ用ツールや、低品質なデータの課題に対応する新しいツールが紹介されています。しかし、その中で、誰でも使用できるデータクオリティを提供しているツールはごくわずかです。ツールには、高度な機能を持ち、使用には高い専門性が必要とされるツールがあります。

多くの場合、これらのツールは複雑で、使用するための十分なトレーニングが必要です。ユーザーインターフェイスも万人向けではなく、実際に使いこなせるのはIT担当者くらいです。データ品質管理について、短期間での対応に迫られたときには、締切に間に合わないでしょう。これは、新人パイロットに高性能機器が搭載されたジャンボジェット機の操縦を一任するくらい無謀な行為です。

他方では、シンプルで強力なアプリがありますが、多くの場合にデータ品質プロセスに使用するにはサイロ化されすぎています。シンプルなUIを使うことで、ビジネス部門のユーザーにうまく焦点を当てていても、コラボレーション型のデータ管理という重要な要素が足りません。この点こそが課題なのです。成功は、ツールや機能そのものでなく、ツール同士がいかにやり取りできるかにかかっています。そのためには、共同作業でのデータ/アクション/モデルの共有、操作、転送が可能なプラットフォームベースのソリューションが必要です。Talendは、まさにこのようなソリューションを提供します。

データを1人で管理することがほぼ不可能なユースケースに直面することが多々あるでしょう。共同作業ができれば、データのライフサイクル全体を通じてユーザーの活動が強化され、ビジネスはデータのクレンジング、調整、マッチング、解決などの従来の障害を克服できます。

  1. 正しいアプローチ

共同でデータクオリティを強化するには、要となるシンプルな段階的アプローチで分析、改善、制御に取り組む必要があります。

データ環境を分析する

最初に、大局的な観点からデータ品質の重要課題を特定します。分析を行うことで、データの全体像を把握できます。データエンジニアは、自分でTalend Studioのデータプロファイリングを使用して顧客データをプロファイリングする代わりに、それらの顧客を最もよく知るビジネスアナリストにその作業を任せることができます。Talend Data Preparationはシンプルながらも強力な機能を提供し、すべてのデータセット項目において、データクオリティ機能のリアルタイムインジケーターを確認することができます。Talend Data Preparationでは、データセットからプレパレ―ションを簡単に作成できます。

ここで例として、セールス部門と一緒にマーケティングキャンペーンを準備するうえで、SalesForce CRMシステムの低品質データが問題となっているチームの場合を考えてみましょう。Talend Data Preparationでは、SalesForceから取得したビジネスデータを自動的かつ対話的にプロファイリングし、参照できます。Talend Data Preparationを経由してSalesforceに接続すれば、全体的なデータ品質を明確に把握できます。問題を特定したら、単純でありながら強力な処理によって1人でも解決できますが、これは表面的な成果にすぎません。ここで必要となるのが、データエンジニアの専門性を生かして、データクオリティのフローを掘り下げて改善することです。

専門性の高いツールでデータを改善し、スチュワードシップキャンペーンを設計して改善を開始する

IT部門のデータエンジニアは、Talend Studioをデータクオリティエンジンとして使用することで、Talend Studioの強力な機能を活用できます。たとえば、t-フィルターなどの単純なデータフィルタリング処理により、メールアドレスの不正なパターンを特定したり、ドメインリストから不適切なドメインアドレスを除外したりするなどの選別を実行できます。この段階では、低品質なデータをデータクオリティプロセスで隔離する必要があります。フィルタリングが完了したら、他のチームメンバーの支援を受けて、データクオリティの改善を続行します。ここでTalend Studioは、データクオリティプロセスの主軸としての役割を果たします。Talend Studioから、自分のクレデンシャルを使ってTalend Cloudにログインし、ビジネス部門寄りのユーザーへとデータクオリティを拡張できます。ビジネスユーザーでもデータエンジニアでも、Talend CloudのTalend Data Stewardshipでクレンジングキャンペーンを実施し、部門をまたいだ横断チームと一緒に低品質なデータの課題を解決できます。そのためには、まずキャンペーンを設計します。

Talend Data Preparationと同じUIを持つTalend Data Stewardshipは、ビジネスユーザーに使いやすい機能を提供します。これを完全に運用化してTalend Studioに接続することにより、ITやビジネスプロセスに携わるユーザーはデータクオリティを拡張できます。専門ツールになじみがないが、ビジネスの知識と経験を生かしてシンプルなアプリでデータクレンジングを行いたいと思っている新しいユーザーも、データクオリティのタスクを担うことができます。

これが協調的データ管理の本質であり、処理ごとに個別のアプリを使用しながら、データの取り込みから消費までを管理する単一プラットフォーム上でシームレスに連動させることができます。

一例として、関わる人すべてのためにデータを改善するクラウドベースのツールの使い方について、次のウェビナーで紹介しています。  https://info.talend.com/en_tld_better_dataquality.html

スチュワードのネットワーク全体とともにデータクオリティプロセスを末端まで制御する

データスチュワード用のキャンペーンを設計したら、データスチュワードに支援を依頼します。キャンペーンを実施して、データスチュワードに自由にデータを確認してもらいます。ここで、Talend Data Stewardshipが重要な役割を果たします。使いやすいUIのアプリケーションなので、データスチュワードもデータクオリティに関与しやすく、データに関する問題を簡単に解決し、実際にデータを業務に必要としているキーパーソンがデータクオリティに関与することができます。シンプルなアプリを使うことで、ビジネスデータを修正しやすくなります。

データクオリティプロセスにビジネスユーザーを巻き込むことには、いくつかの利点があります。ビジネスアナリストは適切なデータを選び出すための経験と必要なスキルを持っているため、データクオリティの精度が高くなります。ビジネスユーザーは、データクオリティを最も気にかける当事者として、積極的に関わり、一緒に課題に取り組むようになります。

ここでは、機械学習はデータ駆動型戦略の仮想の仲間として役立ちます。データスチュワードが足りない詳細を集めると、Talend Data Qualityソリューションの機械学習機能はデータスチュワードから学び、データスチュワードが解決した初期のレコードに基づいて将来のレコードのマッチングを予測します。システムはユーザーから学ぶため、ユーザーには余裕が生まれ、ほかのデータスチュワードシップキャンペーンを推進したり、データプロセスの影響と制御を強化したりできます。

最後に、データスチュワードシップキャンペーンからSalesForce CRMシステムにデータフローを戻して構築します。これにより、データスチュワードによりクレンジングされ解決された低品質なデータがSalesforce CRMシステムに再度取り込まれます。このような処理は、1つのプラットフォーム上でアプリを相互接続することで、簡単に実現できます。また、Talend Data Preparationなどのビジネスアプリでデータセットを直接認定することもできるので、ユーザーはクレンジングされた信頼できるデータにアクセスして使用できます。

この3ステップのアプローチは、継続的な改善プロセスであり、長期的に取り組むことで強化されます。

Talend Data Qualityについての詳細は、「Definitive Guide to Data Quality」(英語版)をダウンロードしてお読みください。

ディスカッションに参加

0 Comments

コメントを残す

Your email address will not be published. Required fields are marked *