Talend Fall ’18の新機能

スケールアップによって、データからの知見を必要としている人に、より迅速に、提供できます。

大規模データからの迅速な知見獲得を実現。

Talendは、企業が大規模なデータの収集、処理、および管理を合理化できるように支援します。

単一ソースの
信頼できるデータを作成。

Talend Data Catalogがデータのアクセス性を100倍向上。

データ処理コストを
最大80%削減。

DatabricksとQubole Data Servicesをサポートし、Sparkワークロードをクラウド内でサーバレスで実行。

数か月ではなく
数日でAPIを構築。

Talend Cloud API Servicesを使用し、API開発を簡単に自動化。

Trusted Sources Infographic

単一ソースの
信頼できるデータを作成。

Talend Data Catalogは、企業のメタデータを自動的に発見、プロファイリング、編成、および文書化し、検索を容易にします。チームベースのデータキュレーションとデータリネージ追跡ツールを使用して、データの品質と信頼性を確保します。データを必要とするユーザーが、適切なデータをすばやく利用できるようにします。

再生: How to Organize and Govern Data at Scale

数か月ではなく数日でAPIを構築。

Talend Cloud API Servicesは、設計から展開までの包括的な開発ライフサイクルをサポートしており、APIを迅速かつ簡単に構築できるようにします。複雑なOASやRAMLを習得しなくてもAPIを作成でき、合理的なプロトタイピングと自動的なドキュメント生成機能を使用して、ユーザーフレンドリーなAPIを構築できます。

再生: How to Share Data at Scale

data integration

データ処理コストを最大80%削減。

ビッグデータとSparkをオンデマンドで使用し、わずかなコストですばやく知見を獲得できます。Microsoft Azure DatabricksとAWSのQubole Data Servicesをサポートし、クラウド環境でサーバーレスにSparkワークロードを実行します。

Talend Studioのワンクリックの展開機能を利用し、サーバー管理タスクを最小化し、開発と展開のプロジェクトをすばやく追跡できます。クラウドリソースを自動的に拡大/縮小して、クラウド特有の弾力性を活かして、ビジネスニーズに対応します。

再生: Process Data at Scale and in Budget

機能強化

以下に、Talend Spring '18とTalend Winter '18で導入された新機能をご紹介します。
各リリースおよび製品の内容(ダウンロード用ソフトウェアまたはTalend Cloud)の詳細は、help.talend.comをご覧ください。

Talend Data Integration
Talend Big Data Integration
Talend Data Quality
Talend Data Catalog
Talend Data Preparation
Talend Data Stewardship
Talend MDM
Talend Cloud API Services
Talend ESB
Talend Data Mapper
Talend Data Integration生産性が向上し、プロジェクトセキュリティが強化されました。
  • ジョブサーバーについては、以下のセキュリティと生産性の機能が強化されました。
    • ロールベースのセキュリティ:Studioを使用する開発者は許可されたプロジェクトに属するジョブのみを実行できます。
    • ジョブサーバーのデータクレンジング機能が強化され、アクティブな実行中のジョブや、リンクされた依存関係/ライブラリを対象から除外できます。
    • スケジュールとエラー処理の機能向上により、使用できないジョブサーバー、重み付けラウンドロビン負荷分散を使用する仮想ジョブサーバーでタスクを再起動できます。
  • Talend Administration Center(TAC)については、以下の機能が強化されました。
    • Ping Identity PingFederate ServerとMicrosoft Active Directory Federation Serviceのサポートを含む、シングルサインオン(SSO)のオプションが追加されました。
    • 監査とセキュリティログにより状況を可視化し、アクセス権限、変更、構成変更を含むすべてのユーザー操作をトレースできます。
    • 監査ログの構成とアクセスのための新しい監査者ロールが設けられ、これによって一層強力なセキュリティが提供されます。
  • 無償のテストエンジン、ビッグデータジョブのリモートデバッグ機能、Talend Cloud EngineまたはRemote Engineでのジョブのデバッグ機能により、Talend Cloudでのテストとデバッグに要する時間が数分から数秒へと短縮されました。
  • StudioでのMaven標準を使用するインクリメンタルビルドを含む継続的な統合機能の更新、Bitbucket Server 5.xを含む広範なGitサポート、Talend Artifact Repository向けのNexus 3のサポート、データ統合、アプリケーション統合のための標準Mavenコマンド(技術プレビュー)、MavenプラグインとカスタムPOM(プロジェクトオブジェクトモデル)を使用してビルドプロセスを簡単に拡張する機能が提供されます。
  • カスタムのTalendコンポーネントを構築して生産性を向上できます。Talend Component Kitで開発したものを、すべてのTalend製品および統合スタイルで、バッチからリアルタイムへ、データ統合からビッグデータへ、オンプレミスからクラウドへと再利用できます。
  • ファジーマッチングのためのデータクオリティアルゴリズム(Levenshtein、Jaccard)により、名前が類似するカラムをSmart tMap Fuzzy Auto-mappingにより自動的にマッチングして、時間を短縮できます。
  • ELTMapによりランタイムでテーブル名を変更する機能、およびスキーマの変更に適応する新しいルーチンにより、ジョブ設計の柔軟性と生産性が向上します。
Talend Big Data Integrationビッグデータプロジェクトのパフォーマンスと生産性が向上しました。
  • Cloudera CDHのダイナミックディストリビューションの新規サポート(技術プレビュー):TalendをアップグレードせずにHadoopディストリビューションの更新を即座に追加します。
  • SparkジョブをYARNクラスターモードで実行することで、ランタイムでのエッジノードのジョブサーバーを不要にし、展開を簡素化/高速化して単一障害点を排除
  • アプリケーション、データベース、データウェアハウスレベルで、SAPからデータを抽出する機能が飛躍的に向上しました。SAPデータの新しい一括抽出機能を使用すると、ほぼ無制限にデータをSAPから抽出できます。ビジネスコンテンツ抽出ツールを使用して、差分モードで新規または変更済みのパッケージ化済みSAPデータを簡単に抽出できます(技術プレビュー)。SAP向けのELTプッシュダウンのサポートにより、クラウドへのデータ移行前にSAP内でネイティブの処理が可能です。
  • Snowflakeコンポーネントのサポートが強化され、ELTプッシュダウンを実行できます。Snowflakeクラスター上でデータ処理と変換が行われるので、Snowflakeの大規模なパフォーマンスとスケーラビリティを活用した迅速な分析が可能になります。
  • Hadoopのカラムナ(列指向)ストレージマネージャーのCloudera Kuduにデータを取り込んでクエリを実行し、IoT、GDPR、不正検出などの高速データシナリオで迅速な分析を実行できます。高度なチューニングオプションによりパフォーマンスを最適化できます。
  • MapR-DB OJAIサポートにより、高度な階層変換をグラフィカルに実行し、ジョブからMapR-DB OJAIのクエリを実行できます。Web、モバイル、ソーシャル、IoTベースのアプリケーションで高速なパフォーマンスと柔軟性を実現します。
  • IAMロールとセキュアトークンサービスをジョブに使用することで、AWS S3のセキュリティ実装を簡素化します。
  • (現在のAWSに加えて)AzureのCloudera AltusでTalendワークロードを実行します。
  • Microsoft Azure Data Lake StoreでのSparkとSpark Streamingのサポートにより、より多くのデータをより高速に処理できます。
  • Hive QueryでアプリケーションIDを追跡して、Talend/Hiveジョブの管理を向上できます。
  • HbaseでRow Keyを取得・設定できるので、Hbaseのベストプラクティスを活用して時系列データの処理が可能になります。
Talend Data Qualityクラウドとオンプレミスのデータがビジネスで活用される過程において、データの完全性の保持を強化します。
  • サバイバーシップルールが向上し、カラム単位でのサポートが可能になったことで、保持したいマスター値を細かく制御できるようになりました。
  • 新しいコンポーネントのtPatternMaskingが追加されたことにより、プライバシーとセキュリティのコントロールのためにマスキングパターンの新しいタイプを定義できます。
  • Dictionary ServiceのUIを使用してセマンティックタイプをインポート/エクスポートすることにより、環境間でセマンティックタイプのプロモーションを容易に管理できます。
  • Talend Dictionary Service REST APIが公開され、Swaggerによって自己文書化されています。データ/アプリケーションの統合シナリオでTalend Dictionary Serviceを活用し、プログラムを使用してTalend Dictionary Serviceを追加できます
  • Dictionary Service UIにフランス語のサポートが追加されました。
Talend Data Catalog

Talend Data Catalog(旧称Talend Metadata Manager)に、スマートプロファイリングと機械学習機能が追加されました。自動的にメタデータを検出、プロファイリング、整理、文書化し、簡単に検索できるようになります。

  • データ資産のあらゆる側面について、説明を参照しながらリアルタイムに検索でき、データ資産をより効率的に整理、検索、および利用できます。
  • データセットを自動的にプロファイリングおよび文書化し、データのアクセシビリティを向上します。
  • スマートかつ安全なメタデータ検索によって、メタデータが強化され、データ保護、分類、アクセシビリティ、検索可能性およびリネージを向上できます。
  • 承認されたユーザーおよびスチュワードが、メタデータやデータの関係性に警告タグを設定し、関係を承認および認定し、検索ランキングに影響を与えることができるソーシャルキュレーションを通じて、データの制御を向上します。
  • データレイクまたは多様な環境間のデータ関係が自動的に収集され、人気度によってランク付けされるため、エンドツーエンドのデータリネージ、ガバナンスおよびコンプライアンスが改善されます。
  • フラットファイル、NoSQL、および他の一般的な構造(たとえば、CSV、XLSX、JSON、AVRO、Parquet)などの、データレイクにあるデータを自動的にクローリングして検出します。
  • あらゆるデータ資産(データセット、列、レポートなど)のメタデータドキュメントを自動作成でき、メタデータが強化されるため、データのアクセシビリティとガバナンスを向上できます。
  • ビッグデータ、クラウド、分析、エンタープライズアプリケーションのためのメタデータコネクタが30以上も新規に追加または更新されており、データインベントリの作成と保守にかかるコストを削減できます。
Talend Data Preparation大規模なデータプレパレーションで最高のユーザーエクスペリエンスを提供します。
  • Cloud Dictionary Serviceを使用して、お使いのデータ向けに新しいビジネス用語を定義できます。これにより、ユーザーとコンピューターの両方によるデータの理解と利用が促進されます。
  • RedshiftとSnowflakeのセルフサービスコネクターによる接続オプションが追加されました。
  • Talendジョブでプレパレーションを動的に選択できるので、メンテナンスと生産性が向上します。
  • 基本的な重複除外、データ辞書による標準化、フィル入力、シーケンス生成、パーセンテージ管理を含む新しいデータプレパレーション機能により、柔軟性が向上しました。
  • CSVファイルのカスタムエンクロージャーとエスケープ文字がサポートされるようになりました。したがって、CSVファイルが非標準の場合や複雑な場合でも、Talend Data Preparationで処理する前にファイルを標準化する必要がありません。
  • UIで日本語とフランス語のサポートが追加されました。
Talend Data Stewardshipデータ整合性に関する問題をすばやく特定して対応し、解決できます。
  • Talend Cloud Data Stewardshipにより、データを最もよく理解しているユーザーの力を活用できます。チームベースのセルフサービス型データキュレーションと検証を支援するこのアプリにより、データ整合性の問題を迅速に特定して対応し、解決できます。
  • Cloud Dictionary Serviceを使用して、お使いのデータ向けに新しいビジネス用語を定義できます。これにより、他のユーザー(ユーザーとコンピューターの両方)によるデータの理解と利用が促進されます。
  • Talend Data StewardshipのUIからキャンペーンやデータモデルを直接インポート/エクスポートできるようになりました。これにより、異なる環境にわたって構成のプロモーションを簡単に管理し、ITポリシーに容易に準拠できます(ダウンロード用ソフトウェアのみ)。
  • UIに日本語とフランス語のサポートが追加されました。
Talend MDMマスターデータの設計、オーサリング、キュレーション、更新が高速化されます。
  • ライセンスとIDがTalend Administration Centerを介して管理されるようになり、セキュリティが強化されます。
  • Talend Data PreparationとTalend Data Stewardshipでシングルサインオンが可能になり、時間が節約されます。
  • REST APIが強化されました(IN演算子)。
  • MDMの統合マッチングで、サバイバーシップルールがカラム単位でサポートされます。
  • ログイン/ログアウトや構成の展開を含むすべてのユーザー操作を監査して、セキュリティのコンプライアンスを確保できます。
Talend Cloud API Services

Talend Cloud API Servicesは、APIの開発ライフサイクル全体(設計、テスト、ドキュメント、実装、デプロイ)に対応する新しいサービスであり、APIの構築と保守に要する時間を大幅に削減します。

  • Cloud API Designer
    • 契約ベースの視覚的な設計ツールにより、複雑な標準(Open API Specification(OAS)/SwaggerとRAML)を習得する必要がなくなります。
    • インラインモッキングにより、反復的なプロトタイピングが可能になり、APIユーザーが、APIを簡単に検証できるようになります。
    • APIドキュメントが自動的に生成およびホストされ、他のユーザーによる活用が促進されます。
    • OAS/SwaggerとRAMLがサポートされ、API Gatewayと容易に統合できます。
    • チームメンバーとAPIの定義を共有でき、フィードバックしながら共同で作業を進めることができます。
  • Cloud API Tester
    • APIをデバッグして検出するためのビジュアルなツールです。あらゆるタイプのHTTP API(REST、SOAP ...)を呼び出して、レスポンスを調査します。
    • ウィザードでアサーションを使用し、APIであらゆるタイプのチェックを実行します。
    • 簡単にテストを作成し、多数のAPIリクエストから構成されるテストシナリオを実行し、現実的な使用状況をシミュレーションできます。
    • チームとAPIテストを共有して共同で作業できます。
    • 標準的なMaven統合環境とDevOpsのベストプラクティスに対するJunitのレポート機能サポートによってAPIテストを自動化します。
  • 実装とデプロイの統合
    • Talend Studioに簡単にインポートして、高度なルーティング、変換、メディエーションの手順をAPIに視覚的に追加することができます。
    • データクオリティコントロールを組み込み、エンドポイント間で送信されるデータの整合性を保証します。
    • 継続的インテグレーション/継続的開発(CI/CD)のベストプラクティスをサポートし、開発とデプロイをスピードアップします。
    • 数回クリックするだけで、クラウド内にオンプレミス環境を簡単にデプロイできます。
Talend ESB
  • データサービスおよびルートにMaven標準を使用して、継続的インテグレーション/継続的デリバリー(CI/CD)をアップデートします。
  • Kafka 1.0とCamel 2.21.2をサポートしているため、最新のKafkaアップデートを利用できます。
  • ログパフォーマンスの向上
  • JFrog Artifactoryのサポート
Talend Data Mapper複雑なマッピングのパフォーマンスを向上します。
  • Kafka(tKafkaOutput)やKinesis(tKinesisOutput)などの複雑な階層構造について、tHMapRecordが受信に加えて出力キューに送信できるようになりました。
  • tHMapが単一の入力から複数の出力を作成できるようになり、生産性が向上しました。
  • upper-case、lower-case、translate、containsを含む新しい変換言語および式言語関数が追加されました。
  • 階層データとフラットレコードの間での変換が改善しました。

データ統合範囲を拡張

各リリースおよび製品の仕様、コンポーネント、およびコネクタの詳細については、help.talend.comをご覧ください。

新規および更新Hadoopディストリビューション

  • Amazon EMR 5.15
  • Cloudera CDH 6.0
  • Hortonworks 2.6x
  • MapR 6.0.1 with MEP 5.0
  • Databricks 3.5 LTS
  • Qubole Data Services 1.0
  • Spark 2.3

新規および更新コンポーネント

  • Couchbase
  • Google BigQuery
  • Greenplum
  • MapR-DB OJAI
  • MariaDB
  • MarkLogic
  • MySQL
  • Oracle ADW
  • PostgreSQL
  • Salesforce
  • SAP HANA
  • Snowflake