Talend Spring '19の新機能
Pipeline Designerにより、Talend Cloudがさらに進化しました。
データ統合を刷新
現代のデータ統合の要件は劇的に変化し、企業に新たな課題をもたらしました。Talendは、将来の成長に備えてデータの収集、処理、管理を合理化および拡張するのに役立ちます。
新しいPipeline Designerを使用したTalend Cloudの特長は次のとおりです。
より速く、より簡単に、よりスマートに構築
すべてのデータを自在の速度で統合
イノベーションと拡張をたやすく実現
最新データエンジニアリングのためにデータ統合を変革
Pipeline Designerは、開発者がデータパイプラインの開発と展開を劇的に高速化し、バッチとストリーミングのユースケースにわたってシームレスに設計し、最新のハイブリッドおよびマルチクラウドテクノロジーを使用してネイティブに拡張できる、次世代データ統合設計環境です。
Talend Cloud Data Integration
Cloud API Designer
Talend Data Quality
Talend Cloud Data Preparation
Cloud Data Stewardship
Cloud Management Console
Talend Cloud Data Integration
- 新しいデータ統合設計環境、Pipeline Designer（旧称Talend Data Streams）が登場しました。
- Pipeline Designerは、次の機能を提供します。
- アナリティクス向けにビジネスデータを変換します（例：SalesforceからRedshiftへ）。
- データレイクからデータウェアハウスにデータを移動します（例：S3からRedshift、Snowflakeへ）。
- ストリーミングデータを取り込んで変換し、クラウドデータレイクに投入します（例：KafkaからS3へ）。
- オンプレミスデータをクラウドにオフロードします（例：SQL ServerからAzure SQL Databaseへ）。
- 軽量のデータ処理を実行します（クラウドでの設計、クラウドとオンプレミスのソースの接続、クラウドまたはオンプレムでの実行）。
- 機能の概要：
- Webベースのグラフィカルデザイナーを使用して、エンドツーエンドのパイプラインを作成し、データをプレビュー/変換します。
- 組み込みのプロセッサーにより、フィルター、集約、平坦化、複製、ルックアップ、結合、タイムウィンドウなどの軽量な変換を実行します。
- Pythonのコーディングのサポートによりパイプラインプロセッサーを拡張し、柔軟性を高めます。
- AVRO/JSON/Parquet/CSVを含む最新データ形式に対応します。
- 単一のインターフェースを使用し、バッチおよびストリーミングのユースケースにわたってシームレスに設計します。
- 追加のセットアップや構成なしに、組み込みのCloud Engineを介してデータを簡単に処理します。
- クラウドでパイプラインを設計してから、オンプレミス、AWS EMR、または仮想プライベートクラウドで実行します。
- スキーマオンリードのサポートにより、パイプラインを構築する前にスキーマを定義する必要性を排除し、スキーマが変更された場合でもパイプラインの弾力性を維持します。
- サンプルデータのライブプレビューを通じて、インタラクティブなデータ変更を即座に確認します。
- すべてのTalend製品共通の共有データセットサービス（リポジトリ）を利用し、チームワーク、データ共有、再利用を促進します。
- 接続性：
- Snowflake、Amazon Redshift、Azure SQLデータベース、Amazon RDS（Oracle、SQL Server、MySQL、MariaDB、PostgreSQL、Aurora）、JDBCを介したオンプレミス（Oracle、SQL Server、MySQL、MariaDB、PostgreSQL）での読み取り/書き込みをサポートします。
- ネイティブのクラウドデータウェアハウス用コネクター：SnowflakeおよびAmazon Redshiftバルクローダー（ターゲットのみ）
- NoSQL：Elasticsearch
- クラウドストレージ：Amazon S3
- SaaS：Salesforce
- ストリーミングメッセージキュー：Apache Kafka、Amazon Kinesis
- 管理：
- Talend Management Consoleを使ってユーザーとライセンスを管理します。
- Talend Management Consoleでジョブをスケジュールし、ステータスを監視します。
Talend Cloud API Designer
- OpenAPI Specification v3.0でAPI定義をインポート/エクスポートし、サードパーティAPIツールとの互換性を確保します。
- API Designerの専用エクスポートモードを使用して、API定義をAmazon API GatewayおよびAzure API Managementに簡単にインポートします。
- API設計の機能強化により、表現力と開発者の生産性を向上させます。
- データタイプの構成（allOf）。たとえば、さまざまな顧客情報（プロフィール、連絡先、好みなど）を顧客の統合ビューにマ結合します。
- データタイプのポリモーフィズム（anyOf、oneOf）。たとえば、入力として「dog」または「cat」を受け入れます。
- OpenID ConnectやJWTなどの新しいセキュリティスキームを文書化します。
- 再利用可能なAPIコンポーネント。たとえば、結果のページネーションとAPI全体での使用を記述するコンポーネントを作成できます。変更に必要な編集は1回だけです。
- デフォルトの応答とステータスの範囲。たとえば、この操作の「すべてのエラー」について、「この特定の」応答を返すことを指定できます。
Talend Data Quality
- セマンティックタイプリストに専用のセマンティックタイプを公開したユーザーの名前を表示します。
- 以下の機能により、データセットのクレンジングと標準化の効率を向上します。
- 複数の列にわたって関数を適用します（例：連結と数学演算）。
- 名前の一部をそれぞれのサブパートにインテリジェントに抽出します（例：タイトル、名、ミドルネーム、ラストネーム、サフィックス）。
- セマンティックタイプの定義に基づくフィールドの部分的な抽出します（例：複数の部分から構成されるフィールドをそれぞれのサブパートに分割）。
- 複合セマンティックタイプに対してセマンティックデータマスキングを実行する機能により、データプライバシーを向上します。
Talend Cloud Data Stewardship
- 応答性を高めるため、タスクの割り当て/有効期限切れの電子メール通知をデータスチュワードおよびキャンペーンオーナーに送信します。
- チームのコラボレーションを改善するため、タスクおよびタスク属性に関するコメント/ディスカッションスレッドの追加をサポートします。
Talend Cloud Management Console
- Talend Management ConsoleのAPIを通じて、より効率的で柔軟なDevOpsのためにサービス展開を自動化します。
- Talend Management ConsoleのサンプルREST APIアーティファクトを使用して、Talend CloudのAPI機能を簡単に試すことができます。
- ユーザー名/パスワードの代わりに、StudioとTalend Cloudの間の認証/接続用の個人トークンを作成します。
- タグを使用してTMCタスクをグループ化/検索し、整理します。
- Pipeline Designer：アーティファクトの管理、クラウド/リモートエンジン、プロファイルの実行、モニタリングを提供します。