データ統合開発者の一日[第4部]:AMC Studioの基本機能

データ統合開発者の一日」シリーズ第4部となる今回は、Activity Monitor Console(AMC)を構成し、特定のデータ統合ジョブのジョブ統計をキャプチャーする方法について説明します。

AMCは、コンポーネントの実行時間、ジョブの全体的なパフォーマンス、およびジョブの過去のパフォーマンスに関する重要な情報を提供します。

それでは、AirlineDimLoadテーブルのデータ統合ジョブを見ていきましょう。

[Job]タブをクリックして[Stats & Logs]を選択します。このインスタンスには、ジョブ設定がこれらの統計とワークフローのをすべてキャプチャーするよう構成されています。

Talend Studioのスクリーンショット

また、MySQLのAMCデータベースにもログが記録され、どのテーブルに入れるのかを確認できるだけでなく、さまざまなコンポーネントからの統計をキャプチャーしています。さらに、各コンポーネントをドリルダウンして特定の統計をキャプチャーできます。これらの統計情報はAMCテーブルにログが記録します。3つすべての集約をチェックしましたが、ほかよりも時間がかかる集約がないかかどうかを確認するためです。

Talend Studioのスクリーンショット

プロセスが実行したら、StudioでAMCパースペクティブを開くことができます。AMCパースペクティブのアイコンが表示されない場合は、[Open Perspective]のアイコンをクリックすると利用可能なすべてのパースペクティブが表示され、AMCを選択できます。

Talend Studioのスクリーンショット

一番上で、任意のプロジェクトと接続を選択して、更新ボタンをクリックすると、AMCデータがログに記録された過去の実行済みジョブがすべて表示されます。

ディメンションロードテーブルが表示され、データベース内のすべての実行履歴を確認できます。

Talend Studioのスクリーンショット

いずれかの実行をクリックして、[Main chart]タブをクリックすると、コンポーネントの内訳が表示されます。ファイルの読み取りに25%の時間がかかり、残りの時間は集約コンポーネント間で均等に分割されているので、いずれかのコンポーネントに特に時間がかかっているわけではないことがわかります。

モニタリングをオンにしているので、拒否されるかレコードがないか、その割合がどの程度かを監視できます。ここでは、しきい値も設定できます。ゲージは緑色で表示され、データが100%ロードされたことを示しているので、エラーや問題は発生していません。

詳細はビデオをご覧ください。次回は、ジョブ設計の基本機能について紹介します。

| 最終更新日時: June 27th, 2019