月別: July 2018

データの経済性が破綻した時代におけるデータ駆動型の推進とは

1970年にIBMのサイエンティストがリレーショナルデータベースを発明したことで、データ使用方法の本質が完全に変わりました。このとき初めて、ビジネスユーザーがデータに簡単にアクセスできるようになったのです。企業は、意思決定と成長を促進するためにデータの力を引き出して活用する時代に入りました。それから48年が過ぎ、2018年の現在、世界をリードする企業において共通することが一つあります。彼らはみな極めてデータ駆動型であるということです。 金融から小売、医療に至るまで、あらゆる業界において、データにはあらゆる活動を変革する力が潜んでいるという事実が認識されるに至りました。成功している企業は、データを最大限に活用して顧客体験を強化し、物流を改善し、将来の意思決定のために価値あるビジネスインテリジェンスを導き出しています。しかし今、私たちは重大な節目に差しかかっています。データは年を追うごとに倍増しており、今後48年で利用可能になるデータボリュームは、歴史上類を見ない状況をもたらすと考えられます。 ここでは、現在の転換期を招いたさまざまな事象を振り返り、このイノベーションを(妥当なコストで)活用する方法について検討していきます。 データ駆動の現況 現在、データの「破壊的威力」を活用する好機が訪れています。驚くほど低コストのセンサー、ユビキタスネットワーキング、クラウドでの安価な処理、ダイナミックコンピューティングリソースによって、データボリュームが増えるだけではなく、このデータボリュームを企業で生かす必要性も高まっています。リアルタイム処理が可能となり、また、セルフサービスの利用者は毎年3倍の勢いで増加しています。新しく登場した機械学習とコグニティブコンピューティングにより、データがもつ可能性がまったく新しい段階に移りました。 機械学習とコグニティブコンピューティングを使用することで、かつてない規模のデータを扱うことが可能になり、人知では到達できなかった相関関係も発見できます。まったく革新的な方法でデータを使用できることがわかれば、可能性の無限の広がりを実感できます。理論的にはすべての企業がデータ駆動型であることが求められます。しかし、現実には、データの活用を困難に思わせる障害がいくつかあります。 予算が増えず、レガシーサイクルに閉じ込められる データの「破壊的威力」がもたらす一連の要件は、ほとんどのIT部門の能力をはるかに超えています。予算は横ばいで年率4.5%しか増加せず、利用可能なテクノロジーのオプションとベンダーが制約されます。これは、「レガシーサイクル」の中で立ち往生している現状を表しています。多くのITチームは、既存の活動を維持するために予算の大部分を費やし、残りをモダナイゼーションやイノベーションに充てています。しかし、現在の「先端的」な取り組みも数年後にはすべてレガシーとなり、再びその維持に追われることとなり、このサイクルが繰り返されていきます。これが、過去20年間にわたって私たちが経験してきた問題のサイクルです。 データの品質とアクセス性の欠如 企業データの大部分には、正確性、一貫性、アクセス性などに問題があり、このために企業はデータの価値を引き出せない状況にいます。ハーバードビジネスレビュー誌の調査によると、調査対象データのうち、品質が「許容される」レベルのデータはわずか3%でした。そのためにデータアナリストは、本来のタスクであるアナリティクスではなく、データプレパレーションに80%の時間を費やしています。必要なデータへのアクセス性だけでなく、データの品質も保証できないのであれば、データの価値を活用することは不可能です。 データに対する脅威の拡大 データの持つ威力は、データの悪用によって引き起こされる脅威にもつながります。ハッキングやセキュリティ侵害が増加し、サイバー犯罪によって全世界が被る損失は、2015年の3兆ドルから倍増して、2021年には6兆ドルに達すると予想されています。脅威の拡大に対処すべく、セキュリティやプライバシーの規制も増加しています。データ整合性の問題を受けて、データの正確性と安全性を確認し、このデータ革命の中でもデータのセキュリティを確保する方法を見つけることに関心が向けられています。 ベンダー間の激しい競争 ソフトウェア業界全体が根本から変わりつつある中、クラウドをめぐる競争が繰り広げられています。企業に求められているのは、今日のイノベーションを最大限に活用することです。また、ベンダーを選択する際も、短期的な観点だけでなく、中長期的な観点から、データの活用を促進できる態勢を整えているかどうかを重視すべきです。 Infographic – Data Economics Are Broken from Talend データディスラプター(破壊者)とは このイノベーションを低コストで活用することは不可能に思えるかもしれません。しかし、このデータ駆動型のトランスフォーメーションの最中でも目覚ましい成功を実現している企業があります。これらの企業がほかと一線を画しているのは、この変化を受け入れるために、既存の価値基準を打ち砕く、根本的に新しい経済的な手法を発見した点です。 データディスラプターは、実際には名前から連想されるような過激な戦略をとっているのではありません。同じ予算でデータをさらに活用する方法を見つけているのです。データディスラプターにとっての成功は、レガシーアーキテクチャーに予算をもっと投入することでもたらされることはありません。基盤インフラストラクチャからのデータの解放を可能にする、最新データアーキテクチャーを利用するのです。 データのさらなる活用 適切なデータを迅速に活用できる組織には、競争優位性があります。ハイブリッド、マルチクラウド、リアルタイム、機械学習に牽引される今日の世界で、先端テクノロジーがデータを解放し、成功を実現可能にします。ここで押さえておくべき3つの重要なイノベーションについて、以下に説明します。 クラウドコンピューティング:クラウドは、それまで実現不可能と考えられていたレベルの効率性とコスト削減を実現しました。クラウドストレージはリモートで動作し、必要な容量だけを提供できるようにサイズが変動します。オンプレミスサーバーの保守にかかる時間とコストが不要になり、ビジネスユーザーはいつでも、どこからでも、リアルタイムのセルフサービスでデータを使用できます。ハンドコーディングも一切不要なため、IT部門の支援を受けずに、任意のSaaSとオンプレミスアプリケーションの統合をクラウドで作成できます。クラウドは、オンプレミスではかなわないコスト、能力、生産性の向上を実現します。データディスラプターはすでに爆発的な規模のデータボリュームをクラウドに委ねています。 コンテナー:コンテナーは急速に成長し、仮想マシンを追い抜こうとしています。最近の調査によると、アプリケーションコンテナーの採用は2020年まで年率40%で拡大していくと予想されます。仮想マシンを使用する場合は、ハードウェアとオペレーティングシステム(OS)を完備して管理する必要があるため、諸経費がかかりメンテナンスの時間も必要です。一方、移植性に優れたコンテナーには不確定要素がほとんどなく、わずかな保守が必要とされるだけです。コンテナーのスタックレイヤーを使用する企業では、コストはOSとハードウェア上のコンテナーがスタックされた部分にのみかかります。これによって、データディスラプターは運用上の無限の可能性と大幅なコスト削減効果を実現できます。 サーバーレスコンピューティング:ビッグデータテクノロジーは、展開と管理が複雑化したりコストが増大したりすることがあります。また、必要な専門知識を持つ人材の確保も困難です。ガートナー社の調査でも述べられているように、「サーバーレスのPaaS(Platform-as-a-Service)には、クラウドサービスの効率と俊敏性を向上させ、クラウドを初めて導入する際のコストを削減し、ITのモダナイゼーションを加速する可能性がある」のです。 サーバーレスコンピューティングによって、ユーザーは基盤システムやアプリケーションインフラストラクチャのプロビジョニングや管理を必要とせずにコードを実行できます。代わりにシステムは、利用可能なデータに伴って増減するオンデマンドのワークロードに対応するよう、規模を自動調整します。 サーバーレスコンピューティングは、依然としてサーバーを必要とするので、現実には「サーバーレス」ではありません。とは言え、コストが発生するのは実際に使用されるサーバー容量のみです。どのようなときも実行した分に課金されるだけなので、オンプレミスサーバーを使用する場合の無駄なコストを排除できます。問題に対処するために必要なだけスケールアップして実行し、その後は再びスケールダウンしてオフになります。将来はサーバーレスが主流となり、サーバーレスによってデータが解放される可能性は無限に広がります。 データディスラプターに仲間入りする 今や、レガシーの罠からデータを解放し、データの可能性をビジネスによって最大化できるように行動すべき時です。データボリュームの増大を前に、データディスラプターはクラウドベースの最新テクノロジーが持つ潜在性を認識しています。ビジネスチームとITチームは協力体制の下でともに行動し、課題に対処するエンドツーエンドのソリューションを見つけ、同時にセキュリティとコンプライアンスも確保しています。このイノベーションを活用し、既存の価値基準を打ち砕いた新しいデータ経済性を作り出すことで、データの潮流に効率的に乗ることができるのです。


効果的なTalendジョブ設計レビューの実施 – 入門編

どこの開発チームでも、一般的なプラクティスとしてコードレビューが実施されています(少なくとも、そうあるべきです)。コードレビューは、複数の開発者が記述されたコードを調べ、品質と正確さを向上させるために、その設計、実装、構造について議論するプロセスです。正式な手法、あるいは、より簡易な手法(ペアプログラミングなど)のどちらを実施するにせよ、実稼働前に欠陥や不足を見つけるために、コードレビューは効果的であることが証明されています。 さらに、コードレビューを実施することで、チーム内で確立されたベストプラクティスに沿って全員が作業を進めることができます。このチーム内でのコラボレーションにより、途中で新しいベストプラクティスを特定することも容易になります。それだけでなく、定期的にコードレビューを行うことで一定レベルの情報共有が実現され、すべての開発者がお互いから学ぶ機会が得られます。これは、経験の浅い開発者にとって特に有効ですが、上級の開発者もこのプロセスから学ぶことがあります Talendはコードジェネレーターなので、開発者が実際にコードを記述することはありませんが、その裏で、ジョブの開発中には行単位のコーディングで多くの要素を共通しています。すなわち、Talendは非常に柔軟なプラットフォームであり、開発者は様々な方法でジョブを構築できるのです。ジョブの設計、設定、オーケストレーションのフローをレビューするだけであっても、コードレビューを実施することのメリットを100%得ることができます。 Talendジョブレビューの「意義」 Talendジョブレビューの目的を一語で表すとすれば、「品質」でしょう。戦略的には、長期的にはジョブレビューによって当然のことながら開発者のスキルが向上し、ベストプラクティスが洗練されます。つまり、将来のジョブについては、ジョブレビュー前の段階からパフォーマンスが改善され、欠陥が減少し、そして保守が容易になるのです。 Talendジョブ設計レビューのメリットについて、上記の説明だけでは確信を持てない方もいるでしょう。開発者はそれなりのプライドをもってジョブを構築しているので、反応にばらつきがあるのも当然です。しかし、レビューのメリットに注目し、お互いから学び、全員のスキルを向上させる場として前向きに捉えることが重要です。レビューに参加している間は、関与する開発者に対して常に思いやりと敬意を持つべきです。チームによっては、正式なチーム全体のレビューよりもペアで行うレビューの方が効果的な場合もあります。ペアで実施する場合でも、オフラインではなく直接顔を合わせてのレビューの実施を推奨します。そのほうが、レビューのコラボレーションから得られるものが多いのです。実利をとることが重要です。コードレビュープロセスを改善する方法を提案するようにチームに求めましょう 定性的側面と定量的側面 Talendジョブをレビューするときには、質と量の両方から考えることが重要です。 質の面では、ベストプラクティスの適用と、それを採用することが必要です。Talendの推奨するベストプラクティスをまだ読まれていない場合は、ぜひ目を通してください。現在、4回シリーズのブログ記事で紹介しています。 Talendの「ジョブ設計パターン」とベストプラクティス - 第1回 Job Design Patterns & Best Practices PART 2(英語) Job Design Patterns & Best Practices PART 3(英語) Job Design Patterns & Best Practices PART 4(英語) ベストプラクティスに関するこれらの記事では、効果的なジョブ設計の定性的側面について説明しています。読みやすく、書きやすく、保守しやすいジョブを設計する方法について、推奨事項を紹介しています。さらに、より良いジョブを構築するために事前に知っておくべき、以下のような基本事項についても述べています。 機能 再利用可能性 拡張性 一貫性 パフォーマンス その他 これらの基本事項をうまく選択してバランスを取ることが成功の秘訣です。 成功するジョブ設計パターンの方法論と実践に関する後続シリーズ(現在のところ2回分)も参考にしてください。 Successful Methodologies with Talend PART 1(英語) Successful Methodologies with Talend […]


複雑化する金融規制におけるGDPRの意義

金融サービス機関にとって、コンプライアンスの違反はトップニュースとなる重大問題となり、ブランドの評判、顧客ロイヤルティ、さらには収益にまで深刻な影響が及びかねません。 金融機関における顧客データの取り扱いの透明性を高めるために、PSD2、オープンバンキング、そして最近ではGDPRといった規制や法的基準が次々に導入されています。これらの規制は、イノベーションを阻む障壁ではなく、チャンスとしてとらえるべきです。今回はこの点について考えていきたいと思います。 2018年の規制環境の変化 今年は、金融サービス規制の節目となる変化が起こりました。2018年1月には、英国で、オープンバンキング に関する規制が施行されました。オープンバンキングが思いのほか静かな始動だったのは、消費者のパニックを引き起こす事態を避けたいという姿勢の表れともとらえられます。 Ipsos MORI (英国大手調査機関)の調査によると、英国の消費者の3分の2近く(63%)は、オープンバンキングによって可能となるサービスを「ユニーク」であるととらえています。その一方で、銀行の顧客データに第三者がアクセスできることを許容できると考える割合はわずか13%です。この調査結果には、金融業界に影響するデータ侵害が大きく報道され、データ保護方針に対して消費者が敏感になっている状況が反映されているのでしょう。 オープンバンキングは、改訂されたEU決済サービス指令(一般的には「PSD2」と呼ばれる)に基づいて構築されました。PSD2は、注目を集める一般データ保護規則(GDPR)の陰に隠れたような存在となっていますが、ヨーロッパ全体の銀行業界にデータ革命を起こしています。 銀行のAPIが第三者に公開されることで、消費者には取引の円滑化、革新的な新しいサービス、手数料や課徴金に関する透明性の向上などのメリットがもたらされます。英国では、その施策として、競争・市場庁(CMA)が当座預金の大手プロバイダーに対してオープンバンキングの導入を求めました。 消費者がオープンバンキングを活用するには、複数のデータセットとデータソースの情報をシームレスにまとめるAPIが必要です。GDPRの試行により、個人データに対する消費者のコントロールの強化が課せられ、遵守しない企業や組織には巨額の制裁金が科せられるようになりました。違反した際の制裁金は、2,000万ドルまたはグローバルな全収益の4%のいずれか高額な方が適用されます。GDPRを遵守するための基本原則の1つは、個人データの保管場所と、データの用途について、常に高い透明性を提供することです。 PSD2とオープンバンキングも、この原則に一致しています。つまり、第三者との間のデータの共有を許可及び拒否する決定権を持つのは消費者側にあります。さらに、GDPRに織り込まれた「忘れられる権利」の概念によって、消費者は第三者のサービスプロバイダーが保有するデータの完全削除を要求できます。同様に、GDPRはデータ管理者(銀行など)とデータ取扱者(PISP、AISPなど)の両者にデータ保護義務を課すため、データガバナンス戦略とテクノロジーが目的に合致していることを保証することは両者の利益でもあります。一方で、デロイトやアクセンチュアは、これらの規則に矛盾があることを指摘しています。そうであったとしても、何よりも重要なのは、より革新的なサービスを提供するために質の高いデータを必要とする銀行にとって、透明性と同意が鍵となる点です。 「世界一価値の高い商品」の規制 金融業界が直面している複雑なデータ規制の問題を検討してきましたが、ビッグデータ、クラウド、機械学習に基づくアナリティクスの拡大によって、データの存在意義が変わったことを忘れてはなりません。かつては社内システムで処分対象となるほどの「お荷物」でしかなかったデータは、今日では世界で最も価値の高い商品となり、Facebookのような巨大インターネット企業、AWSのようなハイパースケーラー、そしてUberのような業界ディスラプターが台頭する原動力となっています。金融業界にとって、データは存続をも左右する問題です。また、金融が社会で果たす重要な役割を踏まえると、銀行がデータを保有することは消費者や企業にとっても必要なことです。このために、銀行はデータガバナンスに正面から取り組み、これを弊害ではなくチャンスととらえる必要があります。   EYが発表した2018年度の年次金融規制見通しでは、規制遵守に対して銀行が攻めの姿勢で臨むことの重要性が強調されています。また、重要な行動として、優れたガバナンス、コンプライアンスの文化の育成、データ統制、データ分析能力の向上への投資、戦略的パートナーシップの構築の5項目が挙げられています。これらの重要ポイントが示すとおり、データガバナンスを前向きにとらえる視点は、コンプライアンスの問題だけに関係するものではありません。データを分析し、分析から知見を導き、知見に基づいて顧客に喜ばれるサービスを創出すれば、結果として顧客もハイパーパーソナライズ/カスタマイズされたサービスが受けられることを理解し、データ共有を望むようになります。この好循環を作み出す必要があります。 経験則として、銀行に渡す情報が多ければ多いほど、銀行はサービスをさらにパーソナライズして提供できるようになります。これは、信用格付けの計算、貯蓄や貸付に関する助言など、あらゆるサービスに当てはまります。一方で、この関係性は諸刃の剣でもあります。オープンバンキング、PSD2、GDPRなどの規制は、消費者が力を握ることを意味しています。つまり、組織が求めるデータが多ければ多いほど、パーソナライズされたサービスに対する顧客の期待値が上がります。顧客はデータの使用目的の確認を求めることになるため、金融機関が顧客との信頼関係を築いて維持していくには透明性が鍵となります。さらに、ビッグデータの複雑な分析に基づいて高度にパーソナライズされた製品やサービスを提供するには、データの保存場所と使用方法を最初に把握しておく必要があります。 データ駆動型の金融サービス まとめると、金融サービス組織は、オープンバンキング、PSD2、GDPRなどのデータ保護規制を好機としてとらえ、2017年に耳目を集めたデータ侵害で損なわれた消費者との信頼関係を再構築する必要があります。ある意味において、これは「資産の管理役として人々に仕える」という金融サービスの基本に立ち返ることです。「顧客の信頼を重視するのであれば、金融機関のリーダーは規制当局からの監督を待つだけの受け身の姿勢ではいけません」。 データの格納場所と適切な管理を把握することは、規制遵守と顧客の信頼を確保するために不可欠なだけでなく、顧客が求める高度にパーソナライズ/予測されたサービスを提供するためにも重要です。この点において、規制要件はデータ駆動を目指す金融機関の戦略に相反するどころか、実際には完全に連携するものです。