Talend Spring 2018の新機能

Talend Cloud Data Streamsのご紹介

詳細情報

信頼できるデータをすべてのユーザーに

Talend Spring 2018では、新しいクラウド、ビッグデータ、およびガバナンスのイノベーションが提供されており、データ駆動形の成果を達成するチームの能力が飛躍的に向上します。

ストリーミングデータの 取り込みがさらに簡単に
Talend Cloud Data Stewardshipのご紹介
ビッグデータ統合の高速化
DevOpsの生産性の向上
データサイエンティスト、アナリスト、データエンジニアがスリーミングデータ統合を容 易かつ迅速に実施可能 セルフサービス型のデータキュレーションおよび検証アプリから、データを最もよく理解しているユーザーに権限を付与 最新テクノロジーでクラウドデータウェアハウスやデータレイクをすばやく構築 新しい継続的インテグレーション機能により、統合ビルドを50%高速化

ストリーミングデータの取得

Talend Data Streamsは、データサイエンティスト、アナリスト、およびエンジニア向けに設計された、セルフサービス型の無料のアプリケーションです。ストリーミングデータの統合をより迅速かつ容易に行うことができ、データへのアクセスがしやすくなります。

クラウド向けに開発されたシステムは数分後に稼働できます。 Apache Beamで動作するストリーミングおよびバッチパイプラインのインターフェイスは一元化されており、スキーマオンリードで新しいタイプとストリーミングデータを簡単に取り込めます。組み込みPythonコーディングコンポーネントにより、パイプライン開発が大幅に短縮され、独自のライブプレビューにより設計の各段階でデータを確認できるようになっています。

Data Preparation
ウェビナー
Put More Data to Work

Talend Cloud Data Stewardshipのご紹介

Talend Cloud Data Stewardship (チーム作業に最適なセルフサービス型データキュレーションおよび検証アプリケーション) を活用し、データを最もよく理解いるユーザーが問題を迅速に特定、管理、解決できるようにして、データの信頼性を向上。 シンプルなWebベースのUIにより、データキュレーションのユーザーロール、ワークフロー、および優先順位を定義し、タスクを委託できます。クラウドであれ、ローカルであれ、あらゆる場所で「データの一貫性」を確保しましょう。Talend Cloudサービスをオンにするだけで、インストールは不要です。

(Talend Data Stewardshipは、Talend Cloudアプリケーションまたはダウンロードしてインストールするソフトウェアでご利用頂けます)

data stewardship
fast big data integration

ビッグデータ統合の高速化

クラウドデータウェアハウスやデータレイクのデータをより大量に、より迅速に処理できるだけでなく、Azure Data Lake StoreのSnowflake、SparkおよびSpark Streamingサポートにより、新しいELTプッシュダウン機能を使用してインサイトをすばやく取得でき、SAPデータ抽出機能が強化されています。

TalendはClouderaのダイナミックディストリビューションをサポートしており、Talendをアップグレードすることなく、最新のCloudera機能にただちにアクセスできるため、数週間から数か月を短縮できます。ビッグデータジョブを一度開発すると、オンプレミスでも、任意のクラウドプラットフォームでも、またはTalend Cloud管理サービスとしてもデプロイできます。

DevOpsの生産性の向上

オンプレミスとクラウドのデプロイにおける継続的な統合の改善により、DevOpsが加速されます。最新のMaven標準を使用すると、統合ビルドプロセスは最大50%高速化します!

このリリースではStudioの増分ビルド、広範なGitサポート、データとアプリケーションの統合のための標準Mavenコマンド(技術プレビュー)、およびMavenプラグインによるビルドプロセスを簡単に拡張できる機能が提供されています。

Talend Cloudでのテストとデバッグは、無料のテストエンジンとビッグデータジョブのリモートデバッグ機能を活用することで数分から数秒で実行できます。

webinar icon
ウェビナー
DevOpsの効果性の向上
devops

機能拡張

Talend ’18 Spring と Talend Winter ‘18の新機能。各リリースのダウンロード可能なソフトウェアおよびTalend Cloudについてはhelp.talend.comでご確認ください。

 

ビッグデータ統合

ビッグデータプロジェクトのパフォーマンスと生産性を改善:

  • ダイナミックディストリビューションの新規サポート: TalendをアップグレードせずにHadoopディストリビューションの更新を即座に追加 (Cloudera CDHの初期サポート)します。

  • SparkジョブをYARNクラスターモードで実行することで、ランタイムでのエッジノードのジョブサーバーを不要にし、デプロイを簡素化および高速化して単一障害点を排除します。

  • アプリケーション、データベース、およびデータウェアハウスレベルでSAPからデータを抽出する機能が飛躍的に向上します。新しいSAP一括抽出機能を使用すると、SAPからデータをほぼ無制限に抽出できるようになります。差分モード(技術プレビュー)でビジネスコンテンツ抽出機能を使用して、新規または変更済みのSAPデータを簡単に抽出できます。SAPのELTプッシュダウンサポートによりクラウドへのデータ移行前にSAP側でネイティブ処理が可能に

  • Snowflakeコンポーネントのサポートが強化され、Snowflakeクラスター上でデータ処理と変換を行う、ELTをプッシュダウンできるようになっており、Snowflakeの大規模なパフォーマンスとスケーラビリティを活用した迅速な分析が可能になりました。

  • HadoopのカラムナストレージマネージャーのCloudera Kuduにデータを取り込み、クエリを実行して、IoT、GDPR、不正検出などの高速データシナリオでの迅速な分析ができます。高度なチューニングオプションによるパフォーマンス最適化

  • MapR-DB OJAIサポートにより、高度な階層変換をグラフィカルに実行し、ジョブからMapR-DB OJAIを照会することができるようになりWeb、モバイル、ソーシャル、IoTベースのアプリケーションで高速なパフォーマンスと柔軟性を実現

  • IAMロールおよびセキュアトークンサービスを使用してAWS S3のセキュリティ実装を簡素化

  • AzureのCloudera AltusでTalendワークロードを実行(現在のAWSに追加)

  • Microsoft Azure Data LakeストアのSparkおよびSpark Streamingサポートにより、より高速なデータ処理が可能に

  • Hive QueryでアプリケーションIDを追跡して、Talend/Hiveジョブの管理を向上

  • HbaseでRow Keyを取得して設定し、Hbaseのベストプラクティスを活用して時系列データを操作

データ統合

生産性向上とセキュリティ向上:

  • ジョブサーバーのセキュリティと生産性の向上には以下の点が含まれます:

    • ロールベースのセキュリティ:Studio開発者は権限のあるプロジェクトに属するジョブのみ実行可能

    • ジョブサーバーのデータクレンジングアクションの機能拡張により、アクティブな実行中のジョブ、リンクされている依存関係やライブラリーを無視

    • スケジュールとエラー処理の機能拡張により、重み付けラウンドロビン負荷分散を使用して、使用できないジョブサーバーおよび仮想ジョブサーバーでタスクを再起動

    Talend Administration Center (TAC)の改良点には以下が含まれます:

    • Ping Identity PingFederate ServerおよびMicrosoft Active Directory Federation Serviceのサポートを含む、追加のシングルサインオン(SSO)オプション

    • 監査およびセキュリティログを使用して状況を可視化し、アクセス権限、カスタマイズ、設定の変更を含むすべてのユーザー操作をトレース

    • 監査ログを設定し、アクセスするための新しい監査役のロールでは、より高いレベルのセキュリティが提供されています。

  • Talend Cloudでのテストとデバッグは、無料のテストエンジンとビッグデータジョブのリモートデバッグ機能を活用することで数分から数秒で実行できます。

  • StudioでのインクリメンタルビルドでのMaven標準の使用を含む継続的な統合更新、Talend Artifact RepositoryでのBitbucket Server 5.x、Nexus 3のサポートを含む広範なGitサポート、データ統合およびアプリケーション統合のための標準Mavenコマンド (技術プレビュー)、およびMavenプラグインおよびカスタムPOM(プロジェクトオブジェクトモデル)を使用してビルドプロセスを簡単に拡張できる機能

  • カスタムTalendコンポーネントを構築して生産性を向上できます。Talend Component Kitで開発したものをすべてのTalend製品および統合スタイル、バッチからリアルタイム、データ統合からビッグデータ、オンプレミスからクラウドで再利用

  • データクオリティアルゴリズム(Levenshtein、Jaccard)を使用したファジーマッチングにより、類似のカラム名をtMapファジーオートマッピングで自動的にマッチングして時間を短縮

  • ELTMapやスキーマの変更に対応する新しいルーチンを活用してランタイムでテーブル名を変更する機能により、ジョブデザインの柔軟性と生産性を向上

データクオリティ

ビジネスのデータフローにおけるクラウドとオンプレミスのデータの完全性を向上させます:

  • カラムごとのサポートによるサバイバーシップルールの改善により、維持したいマスタ値を細かく制御できるようになりました

  • 新コンポーネントのtPatternMaskingで、プライバシーとセキュリティ制御のためのマスキングパターンの新しいタイプを定義できます

  • 辞書サービスUIからセマンティックタイプをインポートおよびエクスポートし、環境間でセマンティックタイプのプロモーションを容易に管理できます

  • Talend Dictionary Service REST APIが公開され、Swaggerによって自己文書化されていますTalend Dictionary Serviceをデータ/アプリケーションの統合シナリオで活用し、プログラムでTalend Dictionary Serviceを入力できます

  • 辞書サービスUIがフランス語に翻訳されています

データプレパレーション

極めて優れたレベルのデータプレパレーションユーザー体験を提供:

  • Cloud Dictionary Serviceを使用して、データの新しいビジネス用語を定義し、ユーザーとコンピューターの両方によるデータの理解と利用を促進

  • RedshiftとSnowflakeセルフサービスコネクターにより接続オプションを拡張

  • Talendジョブでの動的なプレパレーションの選択により、メンテナンスと生産性を向上

  • 新しいデータプレパレーション機能により、柔軟性が向上しています:基本的な重複除外、データ辞書による標準化、フィル入力、シーケンス生成、パーセンテージ管理

  • カスタムエンクロージャーおよびCSVファイルのエスケープ文字のサポートにより、Talend Data Preparationの外部でファイルを標準化することなく非標準的なファイルまたは複雑なCSVファイルを処理できます

  • UIでは日本語とフランス語の両方がサポートされています

データスチュワードシップ

データ整合性に関する問題をすばやく特定して管理し、解決:

  • Talend Cloud Data Stewardship (チーム作業に最適なセルフサービス型データキュレーションおよび検証アプリケーション) を活用して、データを最もよく知っているユーザーに権限を付与し、データの整合性の問題を迅速に特定、管理、解決

  • Cloud Dictionary Serviceを使用して、データの新しいビジネス用語を定義し、ユーザーとコンピューターの両方によるデータの理解と利用を促進

  • Talend Data Stewardship UIからキャンペーンやデータモデルを直接インポートやエクスポートできるようになります。これにより各種環境で構成のプロモーションを簡単に管理し、ITポリシーに準拠できます (ダウンロード可能なソフトウェアのみ)

  • UIで日本語とフランス語がサポートされています

MDM

マスターデータの設計、オーサリング、取り込み、収集、更新を高速化:

  • Talend Administration CenterによるライセンスおよびID管理でセキュリティを強化

  • Data PreparationとData Stewardshipにおけるシングルサインオンで時間を節約

  • REST API の改善 (「IN」演算子)

  • MDM統合マッチングにおけるカラムごとのサバイバーシップルール

  • セキュリティコンプライアンス目的でログイン/ログアウトおよび設定デプロイを含むすべてのユーザー操作を監査

Talend Data Mapper

複雑なマッピングのパフォーマンスを向上:

  • tHMapRecordでは受信に加え、Kafka (tKafkaOutput)やKinesis (tKinesisOutput)など複雑な階層構造でのキュー出力ができるようになっています

  • tHMapで単一の入力から複数の出力を作成して生産性を向上

  • 大文字、小文字、翻訳、含む、などの新しい変換および式言語関数

  • 階層データとフラットレコードの間で変換を改善

統合の対象範囲を拡張

supported systems

Talendの各製品に含まれるコンポーネントは、help.talend.comを参照してください。

 

新規および更新Hadoopディストリビューション

  • Amazon EMR 5.8

  • Cloudera CDH 5.12, 5.13

  • MapR 6.0

  • Spark 2.2

新規および更新コンポーネント

  • Amazon S3

  • Cloudera Kudu

  • Couchbase

  • FTP

  • Hbase

  • Hive

  • MapR-DB OJAI

  • Marketo

  • Marklogic

  • Microsoft Azure Data Lake Store

  • Microsoft Dynamics CRM 2016 (オンプレミス版)

  • MongoDB

  • Neo4J

  • Oracle Cloud

  • SAP Business Suite

  • SAP Hana

  • SAP s/4Hana

  • Snowflake

  • Sybase

  • Vertica