【つないでみた】Amazon Redshiftにエクスペリメンタルビルドを使ってつないでみた

【つないでみた】Amazon Redshiftにエクスペリメンタルビルド使ってつないでみた

前回、エクスペリメンタルビルドで公開された「Redshiftコンポーネントの使いドコロ」をお伝えしましたが、今回は実際にフローを作って、つないでみたいと思います。

まず、この3つのフローを作成してみます。

  • データをS3にパラレルで転送するフロー
  • Redshiftにコピーするフロー
  • Redshiftのデータを絞り込んでExcelのピポッドテーブルに出力するフロー

データをS3にパラレルで転送するフロー

さっそく1つ目の「S3にパラレルで転送するフロー」です。

Upload1Upload2

フローが2つありますが、パラレルで転送するので、1つずつ動くものはサブフローとして定義します。
今回は登録データとしてシステムのログファイルを使いました。1ファイルに何万行とあるファイルを分割で読み込み、指定した行数単位でパラレル実行しS3に保存しています。
この際、GZipで圧縮することで転送量を大幅に軽減することができます。

Redshiftにコピーするフロー

次にS3からRedshiftにコピーするフローを作成しますが、コンポーネントは1つだけです。

Load(Copyコマンド)を実行

こちらは1つ目のフローの後にすぐ呼び出しても問題ありません。
コンポーネントではコピー元であるS3のバケットとオブジェクトの指定、さらにコピー先のRedshiftのテーブルを画面で設定することができます。

RedshiftLoadコンポーネント

Redshiftのデータを絞り込んでExcelのピポッドテーブルに出力するフロー

最後にExcelへの出力を行うフローです。

Excelへ出力

最初のコンポーネントでRedshiftに分析用のテーブルを作成しています。
これは画面で設定したSQLの結果を元に、新たなテーブルを作れるコンポーネントです。

RedshiftTableCopyコンポーネント

出力されるExcelは、予めデータを入れるとグラフやピポッドテーブルが出るようにテンプレートを用意しておきます。
なので、ASTERIA Warpではデータを差し込むだけです。

Excel出力例

最後に

今回は上記のような、地域別やカテゴリ別などにまとめたグラフや表を出力するようにしてみました。
いかがでしたでしょうか?

さて、ここまでの流れを動画でもご紹介していますので、こちらも合わせてご覧ください!
↓ ↓ ↓

データのアップロードから簡易分析まで、Javaなどのプログラミング開発を一切することなく、このようなことができてしまいます。
更に、できたExcelレポートを添付メールで配信したり、この処理自体を毎週実行するなどといったことも可能です!

「でも開発工数が、、」「うちには技術者居ないから・・・」などとお悩みの方、まずは1ヶ月無料評価版で試してみるのはいかがでしょうか?

関連記事



クラウド版

手ぶら de ASTERIA Warp
体験 5日間を申し込んで
簡単データ連携を体験してみよう!

サーバー準備の手間なくデータ連携ツール「ASTERIA Warp」の
全ての機能を5日間お試しいただけます。

今すぐ体験してみる 書籍の詳細についてはこちらをご覧ください。
基礎と実践 使い方マニュアル
著者:森 一弥

著者:
森 一弥

ASTERIA Warpシリーズ担当のシニアプロダクトマネージャー。ホワイトペーパーの執筆のほか、開発経験を活かしたASTERIA Warpを使ったデモ作成等を実施。

「ASTERIA Warp、データ分析、クラウド、業務効率化、最新技術」人気!ホワイトペーパーダウンロード受付中!今すぐチェック
ASTERIA Warpと色々つないでみた特集!記事はこちら>

ASTERIA Warp 関連サイトのご紹介

X ASTERIA Warp Developer Network(ADN)サイト

技術情報をお探しの方

ASTERIA Warp Developer Network
(ADN)サイト

ASTERIA Warp製品の技術情報やTips、また情報交換の場として「ADNフォーラム」をご用意しています。

X ASTERIA Warpユーザーグループ(AUG)

ASTERIA Warpデベロッパーの方

ASTERIA Warp オンラインコミュニティ
ADN slack

ASTERIA Warpデベロッパー同士をつなげ、技術情報の共有やちょっとしたASTERIA Warpの疑問解決の場とすることを目的としたコミュニティです。

X ASTERIA Warpユーザーサイト

ASTERIA Warpユーザーの方

ASTERIA Warpユーザーサイト
Login

製品更新版や評価版のダウンロード、各種ドキュメントのご提供、また 技術的なお問合せもこちらで受付ています。

X ASTERIA Warpパートナーサイト

ASTERIA Warpパートナーの方

ASTERIA Warpパートナーサイト
Login

パートナーライセンスの発行や各種ドキュメントのご提供をしています。

ページ先頭へ