ストリーミングデータ配信ツール「Amazon Kinesis Data Firehose」とは

AWS上で構築されたシステムは、その規模の拡大と機能の拡充に伴い、システムが受け取ったデータを迅速に転送、処理を行わなければいけないという場面に遭遇すると思われます。今回は、そんな課題を解決するサービス「Amazon Kinesis Data Firehose」についてご紹介します。

Amazon Kinesis Data Firehoseとはなにか
Amazon Kinesis Data Firehoseでできること
Amazon Kinesis Data Firehoseの料金
- Kinesis Data Firehoseの料金にかかわる基本的な機能とオプション機能と料金
- 料金例
Amazon Kinesis Data Firehoseを使ったAWSの環境構築ならお任せください！

Amazon Kinesis Data Firehoseとはなにか

Kinesis Data Firehoseとは、リアルタイムでのデータストリームの収集・処理・分析を行うAmazon Kinesisサービスの一つで、ユーザからの入力やアクセスログなどで生成されたデータソースを、指定したAWSのサービスにストリーミングデータとして転送するサービスです。Kinesis Data Firehoseのほかには、データストリームの収集と保存を行うKinesis Data Streams、そしてストリーミングデータの分析を行うKinesis Data AnalyticsがKinesisサービスとして提供されています。

Amazon Kinesis Data Firehoseでできること

Kinesis Data Firehoseは、生成されたストリーミングデータをデータストアや分析ツールに配信することができます。例えば、データストアであればAmazon S3、分析ツールであればAmazon RedshiftやAmazon OpenSearch Serviceが配信先として利用可能です。
利用の一例ですが、図で表すと下記のようなイメージになります。データソースから配信先までの橋渡しをするための機能と考えるとわかりやすいかと思います。

ユーザによるサイトへのアクセス、サイト内での操作→データソースとして蓄積→Kinesis Data Firehoseでデータソースを取り込み、配信→Amazon S3：データを保存、Amazon Redshift：データを分析、Amazon OpenSearch Service：データを検索 — Kinesis Data Firehoseの利用イメージ

また、Kinesis Data Firehoseはフルマネージドサービスであるため、オンプレミス環境で配信環境を用意する際に必要だったサーバが必要ありません。そのようなリソースを意識することなく利用できるのもKinesis Data Firehoseのメリットといえます。

データの可視化には、Amazon QuickSightの利用がオススメです。是非参考にしてみてください。

Amazon QuickSight入門｜活用事例やダッシュボード作成時のポイントを紹介！

Amazon Kinesis Data Firehoseの料金

Kinesis Data Firehoseの料金は、基本的には配信のために取り込んだデータの容量のみで決まります。オプション機能を利用することにより料金の追加が発生しますが、Kinesis Data Firehoseのセットアップや維持に対する料金は発生しません。

Kinesis Data Firehoseの料金にかかわる基本的な機能とオプション機能と料金

①基本機能

取り込み: 配信するデータを取り込む際、料金が発生します。料金は5KB単位で取り込まれた容量で、GBごとに請求されます。

②オプション機能

形式の変換: JSON形式からApache Parquet、またはApache ORCへの形式の変換を行うことができます。
VPC配信: Amazon VPCに配信先がある場合、各AZで配信ストリームがアクティブである時間について、料金が発生します。
動的パーティショニング: 取り込んだデータ内のキーを利用して、配信先を動的に変更することができます。たとえば、レコードの値に応じて配信先のS3のディレクトリ分けを行い、データ整理を行うことでその後のデータ分析、検索などを効率的に行う、といったことが可能になります。また、動的パーティショニング機能の更に追加オプションとして、JQ処理（JSONデータの加工・整形）を行うこともできます。

基本機能[取り込み、GBあたり：最初の500TB/月 $0.036、次の1.5PB/月 $0.031、次の3PB/月 $0.025、5PB/月を超えた場合 AWSに要問い合わせ] オプション機能[形式の変換：変換されたデータGBあたり $0.022、VPC配信：VPCに処理されたGBあたり $0.01、1時間当たりAZごとのVPC配信 $0.014、Amazon S3配信の動的パーティショニング：配信されたGBあたり $0.032、配信された1,000S3オブジェクトあたり $0.008、JQ処理、1時間あたり $0.112] — Amazon Kinesis Data Firehoseの料金（2021年11月現在、アジアパシフィック（東京）リージョン）

料金例

レコードサイズ3KBのデータを100種類、それぞれ1日10万件取り込み、データ変換を行ってAmazon S3に配信した場合

料金にかかる要素		備考
月間で取り込まれるレコードの総数	304,166,667件	月間730時間で換算
料金計算される1レコードサイズ	5KB	3KBなので、5KBに切り上げ
料金計算される月間の総レコードサイズ	1,450.38GB	304,166,667件×5KB

料金		備考
データ取り込みにかかる料金	$52.21	$0.036×1,450.38GB
データ変換にかかる料金	$31.91	$0.022×1,450.38GB
Kinesis Data Firehoseの月額料金	$84.12（\9,589）	$52.21+$31.91

※ $1=\114で計算。また、この料金例はKinesis Data Firehoseにかかる料金のみで、配信先のサービスにかかる料金が別途発生します。

Amazon Kinesis Data Firehoseを使ったAWSの環境構築ならお任せください！

ここまでご紹介しました通り、Kinesis Data Firehoseはデータ配信に優れた便利なツールです。しかしいざ利用してみようとすると、細かい設定やデータの取り込み元や配信先のサービスの準備や設定など、実際にはAWSのスキルが必要なのも事実です。これらの課題を自力で達成するのが難しい場合は、専門業者に依頼するのも一つの解決手段です。AWSアドバンストコンサルティングパートナーであるTOKAIコミュニケーションズでは、AWS導入サポートサービスをはじめ、各種サービスをご提供しており、お客様のIT課題を解決する高品質なクラウド環境の構築・運用を実現いたします。ご興味がございましたら、まずはお気軽にお問い合わせください。