Amazon Kinesisとは
ストリーミングデータをリアルタイムに収集・処理するサービス群。Kinesis Data Streamsはシャード単位でカスタム処理アプリが消費するデータストリーム、Kinesis Data Firehoseは変換なしでS3/Redshift/OpenSearch等に直接デリバリーするサービス。
Kinesis Data Streamsのデータ保持期間はデフォルト24時間（最大365日）。シャード数でスループットをスケール（1シャード＝1MB/s書き込み・2MB/s読み取り）。
試験での問われ方
Data Streams（カスタムリアルタイム処理・複数コンシューマー）とFirehose（バッファリングして配信・変換はLambdaのみ）の違いが最頻出。SQSとの比較では「順序保証・時間遡及・複数コンシューマー」のキーワードでKinesisを選ぶ。
ストリームに対してSQLや時間ウィンドウ集計を行うマネージドな処理基盤は、現在はAmazon Managed Service for Apache Flink（旧Kinesis Data Analytics。旧名のサービスは新規作成できない）が現行解となる。「ストリームをリアルタイムに集計・分析する」要件ではFlinkを思い出したい。
SAPでは「IoT/ログのリアルタイム集計」シナリオでKinesis Data Streams＋Lambda＋DynamoDBの構成が問われる。Hot Shard（特定シャードへの偏り）対策としてパーティションキーの分散が重要。
このサービスが登場する演習問題（11問）
- 【CLF-C02】ある企業が、IoTデバイスから送られてくるリアルタイムのストリームデータ（毎秒数千件）を収集・処理・分析したいと考えてい…
- 【SAA-C03】ある企業が、Amazon Kinesis Data Streams を使ってリアルタイムのイベントストリームを処理してい…
- 【SAA-C03】ある企業が、大量の IoT デバイスからセンサーデータ（1 秒間に最大 100 万件のメッセージ）をリアルタイムで受信・…
- 【SAA-C03】ある企業が、Amazon Kinesis Data Streams からリアルタイムでデータを消費して Amazon S…
- 【SAA-C03】ある企業が、Amazon S3 への大量のオブジェクトアップロードを行っており、S3 PUT リクエストのコストが高額に…
- 【DVA-C02】あるグローバルゲーム会社が、DynamoDBとKinesis Data Streamsを組み合わせたリアルタイムランキン…
- 【SAP-C02】ある金融サービス会社が、リアルタイムの不正取引検知システムを AWS 上に構築しています。毎秒 50,000 件の取引デ…
- 【SAP-C02】ある企業が AWS 上で IoT プラットフォームを構築しており、世界中に分散する 100 万台のデバイスから毎秒 10…
- 【SAP-C02】ある企業が AWS WAF を ALB の前段に設置してウェブアプリケーションを保護していますが、セキュリティチームから…
- 【SAP-C02】ある企業が AWS 上で大規模なデータ処理パイプラインを設計しており、1 日に 10 億件のイベントを処理する必要があり…
- 【SAP-C02】ある企業が AWS 上で毎秒 1 万件のトランザクションを処理するオンラインバンキングシステムを設計しています。すべての…