Talend Enterprise Data Quality

Data Quality（データクオリティ）の概要

Talend Enterprise Data Qualityはデータをクリーンで正確なデータしてからあらゆることを実行します。データの異常個所を特定し、一貫性がない、または正確でないデータはクレンジングされ、さらに重複しているレコードはきれいに整理されます。また、それだけでなくデータを補強および強化する機能も備わっています。この機能はデータクオリティを検証するときに使用するプロファイルリングやリアルタイムのダッシュボードを拡張し、問題を特定すると同時に自動化プロセスを作成することが可能です。Talend Enterprise Data Qualityには企業に対応した再利用可能なプラットフォーが装備されており、データ管理に対して高い拡張性を持っています。

主な機能

Data Profiling（データプロファイリング） 企業データのクオリティを改善するために行う最初のステップは、それをすべて完全に理解することで、それが会社基準および業界基準に準拠していることを確認することです。データプロファイリングには事前に定義されたテストやビジネスルールが用意されており、企業アプリケーション内で使用する場合、そのデータクオリティが適合するかどうかを確認できます。

Standardization（標準化） 問題領域が特定されると、それらを修正します。Talend Enterprise Data Qualityには、名称やアドレスのクレンジング、外部リファレンスデータを利用した修正、解析、サードパーティのアドレス検証および標準化などさまざまな標準化機能を持つコンポーネントが備わっています。これらの強力なツールを使用することで、1つの開発環境で、顧客、製品、財務、およびトランザクションなどすべてのデータドメインの全域でデータクオリティを管理できます。

Matching and Survivorship（マッチングおよびサバイバーシップ） Talend Enterprise Data Qualityは新世代のデータマッチングソリューションで、従来のベンダーが使用してきた過度に複雑なプロセスを置き換えるのにとても便利です。グリーンスクリーンのマッチルールの編集や特殊なマッチング言語は過去の状態を維持します。Talendを使用したマッチングは、いくつかのデータクオリティツールで使用される複数のGUIでルールファイルや難解なマッチング言語を編集するというも困難なタスクを省略してTalendの作業環境内で設定されます。重複しているデータおよびほぼ重複しているデータを見つけ出すのに欠かせない高度なマッチングアルゴリズムが搭載されています。

Data Monitoring（データモニタリング） Data Quality Portalからカスタマイズ可能なWebベースのデータクオリティのモニタリングおよびレポーティングを実行して、ビジネスプロセスに影響を及ぼす可能性のある重要なデータクオリティの測定基準を監視できます。定期的に測定基準を見直し、その傾向を把握し、企業はデータプロファイリングを介してデータクオリティの変化（改善または劣化）を理解することができます。これにより、アライメントおよびハイライト領域を構築できます。

企業、Big Dataおよびクラウド対応 システム間にはクリーンデータを配信しなければなりません。これは必要不可欠なことであると考えています。Talendはクリーンなデータアクセスを可能にする重要な機能を提供します。この機能は優れた接続性、パフォーマンスおよびとスケーラビリティが備わっています。これにより、企業全体の機能として、データクオリティを確保するという重要な問題を解決することができます。

データガバナンス用のデータクオリティ

Data Profiling（データプロファイリング）

企業データのクオリティを改善するために行う最初のステップは、それを理解することで、それが会社基準や業界基準に準拠していることを確認することです。Talend Enterprise Data Qualityを使用すると、ユーザーは以下のことが可能になります。

• プロファイル、分析、およびデータクオリティのステータスに関する有益なレポートを作成することで、改善に向けてアライメントおよびハイライト領域を構築することができます。
• 事前に定義されたテストやビジネスルールが用意されており、企業アプリケーション内で使用する場合、そのデータクオリティが適合するかどうかを確認できます。
• データクオリティが仕様範囲内を超えたときに警告を発出するようにカスタムビジネスルールやしきい値を定義できます。
• 右クリックするだけで特定のレコードまで掘り下げることができます。
• 素早くかつ簡単に問題箇所を改善するために適所にワークフローを配置することができます。結果がプロファイリングされると直ぐに修復に転じます。
• データクオリティに関する新しいプロセスの影響を追跡調査したい場合、時間経過とともにデータクオリティをモニタできます。
• データガバナンスを実現するために、機能横断型チームでプロファイリングデータの結果を共有できます。

Standardization （標準化）

企業データのクオリティを改善するために行う最初のステップは、それを理解することで、それが会社基準や業界基準に準拠していることを確認することです。Talend Enterprise Data Qualityを使用すると、ユーザーは以下のことが可能になります。

• ビルトインデータ統合を利用して任意のソースにアクセスしたり、データを充実させることができます。充実させたり、強化するためにリファレンスデータを利用できるデータを自由に活用します。または、従来のベンダーの使用も可能です。
• 1つの開発環境を適用して、顧客、製品、財務、トランザクションなどすべてのデータドメイン全域でデータクオリティを管理できます。
• データガバナンスの組織全体ですべてのデータクオリティルール、リファレンスデータ、プロセスを再利用できます。
• 構造化および非構造化データの両方に最新の解析技術を適用できます。パーサーは改善されたレポーティングおよび分析に対してフリーフォームのデータフィールド構造を提供します。
• Talendのデータクオリティのチートとシートを使用して導入時間を削減できます。チートシートは単純な質問を使用してデータクオリティの最も一般的なプロセスのいくつかを順々に行い、終了データのクオリティジョブを終了させます。

Matching and Survivorship （マッチングおよびサバイバーシップ）

Talend Enterprise Data Qualityは過度に複雑でグリーンスクリーンマッチルールを実世界のビジネスユーザーに合わせて編集し、移行する新世代のデータマッチングソリューションです。Talend Enterprise Data Qualityのマッチング機能を使用して、ユーザーは以下のことが可能です。

• Talendユーザー環境内でマッチングを設定できます。ほとんどのデータクオリティツールに関連付けられているルールファイルや数多くのGUIに大量の編集を施す必要はありません。
• 必要な結果を導き出すために、一致する各属性の信頼度と確率を設定できます。
• マッチング技術の変更に関して、マッチング作業を支援するユニークな「what-if（仮定）」オペレーションを実現しています。主なマッチング測定基準としてチャートやグラフなどが用意されています。
• マッチングアルゴリズムを設定すると、簡単に重複した顧客データ、トランザクションデータまたはサプライチェーンのデータを特定できます。
• 各属性に対してルールやマッチング技術を指定でき、ユニークなデータに対して最良のマッチプロセスをアセンブルできます。
• マッチング言語や独自のマッチコードを学ばなくても、データ管理プロセスのすべてと同じ環境でルールを編集できます。

Data Monitoring （データモニタリング）

Data Quality Portalでは、重要なビジネスプロセスに影響を及ぼすかもしれない重要なデータクオリティの評価指標を監視するために、カスタマイズ可能なWebベースのデータクオリティのモニタリングおよびレポーティングが提供されます。ユーザーは以下のことが可能です。

• データガバナンスチームがデータプロファイリングを介してデータクオリティの変化（改善または劣化）を理解できるようにデータクオリティの評価指標の見直しができます。
• 新しいデータが作成されるとデータの品質基準を実施します。Data Quality Portalはチームが企業全体でデータクオリティを向上させるプロセスを協力し合えるWebベースのポータルにカスタマイズされたKQI（key quality indicators）を提供します。
• 共有のために標準フォーマットでレポートを生成できます。グラフィカルなレポートはWebページ、Adobe AcrobatおよびExcelで生成されます。XMLおよびビジネスインテリジェンスアプリケーション用のリポジトリに保存されたレポーティングデータを使用します。
• 評価指標が仕様範囲外になったら、Eメール送信と同じようなイベントをトリガできます。データクオリティが仕様範囲外になったら、直ぐにそれを知ることができます。

企業、Big Dataおよびクラウド対応

システム間にはクリーンデータを配信しなければなりません。これは必要不可欠なことであると考えています。Talendはクリーンなデータアクセスを可能にする重要な機能を提供します。この機能は優れた接続性、パフォーマンスおよびとスケーラビリティが備わっています。これにより、企業全体の機能として、データクオリティを確保するという重要な問題を解決することができます。Talend Enterprise Data Qualityを使用すると、ユーザーは以下のことが可能になります。

• 事実上すべてのデータソースに汎用的な接続して、企業内またはクラウドの任意のソース内の任意のデータにアクセスまたは任意のデータをクレンジングすることができます。
• データガバナンスの再利用およびサポートを促進するために、集中的にデータクオリティジョブを管理できます。
• 低品質のデータがアプリケーションに侵入しないようにデータクオリティ用のファイアウォールなど、バッチ（一括）またはリアルタイムでデータクオリティを確保するためのサービスを導入できます。
• 共有リポジトリを使用してすべてのアプリケーションおよびプロジェクト間ですべてのプロファイリングおよびデータクレンジングジョブを再利用できます。
• Talendのサービスベースのアーキテクチャ（ESB）ですべてのアプリケーションをサポートするために、データクオリティを確保するためのサービスを構築、テストおよび導入できます。
• 数多くのサーバおよびノードをセットアップできます。Hadoop、クラスタリングおよび高アベイラビリティをサポートするのに必要な設定もあります。

企業の新たな取り組みの実現

Talend Enterprise Data Qualityはそれ自体が1つの取り組みであるだけでなく、一般的なITの取り組みをも改善してます。