助け合いフォーラム
AWS ソリューションアーキテクト - アソシエイト(SAA-C03)
問題ID : 30616
問題を開く
Amazon EC2インスタンス上で実行されるアプリケーションは、ユーザーが利用するスマートフォンから、HTTPベースのインタフェースを通してリアルタイムにデータを受信して処理している。このところ、データ量が増大すると高負荷によりアプリケーションが処理しきれなくなる問題が発生している。
問題を解決し、よりスケーラブルなアプリケーションにするには、どのソリューションが最も適切か。
問題を解決し、よりスケーラブルなアプリケーションにするには、どのソリューションが最も適切か。
正解
データの受信にはAmazon Kinesis Data Streamsを利用し、データの処理にはAWS Lambdaを利用する
解説
ストリーミングデータをリアルタイムで収集・処理するサービスに「Amazon Kinesis」があります。ストリーミングデータとは継続的に生成されるデータのことをいいます。例えばスマートフォンアプリなどでユーザーが生成するログや、証券取引所の株取引情報、SNSやオンラインゲームのデータなどが該当します。Kinesisではこのようなストリーミングデータを収集し、他のAWSサービスと連携してサンプリングや分析などができます。なお、ストリーミングデータを処理することを「ストリーム処理」といいます。
Kinesis Data Streamsは外部から送信されるストリーミングデータを収集するサービスです。センサーなどが生成したストリーミングデータをKinesis Data Streamsのストリームへ送信し、ストリーム上のデータは分析や機械学習などを行う他のAWSサービス(例えばLambda、Data Firehose、Managed Service for Apache Flinkなど)がリアルタイムに読み取って処理します。
収集したデータを分析・加工するには「AWS Lambda」を利用します。Lambdaはサーバーレスでプログラムのコードを実行できるサービスです。サーバーレスとはAmazon EC2などのサーバーを必要とせず、リクエスト発生時にだけプログラムが実行されるアーキテクチャのことです。
LambdaではKinesis Data Streamと連携し、ストリーミングデータを処理できます。Lambda関数の作成時には、Kinesisのストリーミングデータを利用するテンプレートも用意されています。
![<img src="/mondai3/img/jpg/k58758.jpg">](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/23120/k58758.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=1ab575a8043a59e51e11710604722e034593c091b4f4f9e51e1e200b12ab820c)
以上より正解は
・データの受信にはAmazon Data Streamsを利用し、データの処理にはAWS Lambdaを利用する
です。
その他の選択肢については以下の通りです。
・Amazon Simple Queue Service(SQS)でデータ受信と処理を行うコンポーネントを接続する。メッセージ取得時は、ロングポーリングで取得する
Amazon SQSはフルマネージドのメッセージキューイングサービスであり、サービス同士の橋渡しを担います。また、ロングポーリングとは、ポーリング(メッセージキューに対する問合せ)した際にメッセージが空である場合は一定時間待ち合わせる設定をいいます。
SQSでコンポーネント間を接続することで、高負荷のために処理しきれなくなるという問題を解消できることはありますが、ロングポーリングはAPIコール数を減らすコスト削減の設定であり、本設問の問題を解消しません。したがって、誤りです。
・データ受信にはAmazon Data Firehoseを利用し、データの処理にはAWS Glueを使用する
Glueは複数のデータソースからデータを抽出し、変換・統合したデータをターゲットへ格納するサービスです。
Data Firehoseはリアルタイムデータの受信に適していますが、Glueはバッチ処理に適しておりリアルタイムのデータ処理には適していないので、誤りです。
なお、Data FirehoseからLambda関数を呼び出してデータを処理する方法であれば、設問の要件を満たせます。
・データを受信するAmazon Simple Notification Service(SNS)のトピックを作成し、SNSからの通知をトリガーにLambda関数でデータを処理する
Amazon Simple Notification Service(SNS)はプッシュ型のメッセージングサービスです。システムの状態に変化があった際のシステム管理者への通知や不特定多数のユーザーへの定期的なメッセージ配信などを、EメールやSMS(Short Message Service)、Amazon SQS(Simple Queue Service)を通してユーザーやアプリケーションに対して通知します。
SNSは通知を行うサービスであり、本設問のケースのような大量のリアルタイム性の高いデータ処理は、Amazon Kinesis Data Streamsの方が適しているので誤りです。
Kinesis Data Streamsは外部から送信されるストリーミングデータを収集するサービスです。センサーなどが生成したストリーミングデータをKinesis Data Streamsのストリームへ送信し、ストリーム上のデータは分析や機械学習などを行う他のAWSサービス(例えばLambda、Data Firehose、Managed Service for Apache Flinkなど)がリアルタイムに読み取って処理します。
収集したデータを分析・加工するには「AWS Lambda」を利用します。Lambdaはサーバーレスでプログラムのコードを実行できるサービスです。サーバーレスとはAmazon EC2などのサーバーを必要とせず、リクエスト発生時にだけプログラムが実行されるアーキテクチャのことです。
LambdaではKinesis Data Streamと連携し、ストリーミングデータを処理できます。Lambda関数の作成時には、Kinesisのストリーミングデータを利用するテンプレートも用意されています。
![<img src="/mondai3/img/jpg/k58758.jpg">](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/23120/k58758.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=1ab575a8043a59e51e11710604722e034593c091b4f4f9e51e1e200b12ab820c)
以上より正解は
・データの受信にはAmazon Data Streamsを利用し、データの処理にはAWS Lambdaを利用する
です。
その他の選択肢については以下の通りです。
・Amazon Simple Queue Service(SQS)でデータ受信と処理を行うコンポーネントを接続する。メッセージ取得時は、ロングポーリングで取得する
Amazon SQSはフルマネージドのメッセージキューイングサービスであり、サービス同士の橋渡しを担います。また、ロングポーリングとは、ポーリング(メッセージキューに対する問合せ)した際にメッセージが空である場合は一定時間待ち合わせる設定をいいます。
SQSでコンポーネント間を接続することで、高負荷のために処理しきれなくなるという問題を解消できることはありますが、ロングポーリングはAPIコール数を減らすコスト削減の設定であり、本設問の問題を解消しません。したがって、誤りです。
・データ受信にはAmazon Data Firehoseを利用し、データの処理にはAWS Glueを使用する
Glueは複数のデータソースからデータを抽出し、変換・統合したデータをターゲットへ格納するサービスです。
Data Firehoseはリアルタイムデータの受信に適していますが、Glueはバッチ処理に適しておりリアルタイムのデータ処理には適していないので、誤りです。
なお、Data FirehoseからLambda関数を呼び出してデータを処理する方法であれば、設問の要件を満たせます。
・データを受信するAmazon Simple Notification Service(SNS)のトピックを作成し、SNSからの通知をトリガーにLambda関数でデータを処理する
Amazon Simple Notification Service(SNS)はプッシュ型のメッセージングサービスです。システムの状態に変化があった際のシステム管理者への通知や不特定多数のユーザーへの定期的なメッセージ配信などを、EメールやSMS(Short Message Service)、Amazon SQS(Simple Queue Service)を通してユーザーやアプリケーションに対して通知します。
SNSは通知を行うサービスであり、本設問のケースのような大量のリアルタイム性の高いデータ処理は、Amazon Kinesis Data Streamsの方が適しているので誤りです。
参考
【Amazon Kinesis】
Amazon Kinesisはストリーミングデータをリアルタイムで収集・処理するサービスです。
ストリーミングデータとは継続的に生成されるデータのことをいいます。例えばスマートフォンアプリなどでユーザーが生成するログや、証券取引所の株取引情報、SNSやオンラインゲームのデータなどが該当します。Kinesisではこのようなストリーミングデータを収集し、他のAWSサービスと連携してサンプリングや分析などができます。なお、ストリーミングデータを処理することを「ストリーム処理」といいます。
一方、「バッチ処理」はまとまったデータに対して一括で処理を行う方式です。バッチ処理は、日次、週次、月次、年次の集計処理のように特定範囲のデータに対して定期的に実行されます。
多くの企業ではストリーム処理とバッチ処理の両方を用いてシステムを構築し、柔軟なデータ処理を行っています。
【Kinesisの種類】
Kinesisには用途に応じた複数のサービスがあります。
■Kinesis Data Streams
Kinesis Data Streamsは外部から送信されるストリーミングデータを収集するサービスです。センサーなどが生成したストリーミングデータをKinesis Data Streamsのストリームへ送信し、ストリーム上のデータは分析や機械学習などを行う他のAWSサービス(例えばLambda、Data Firehose、Managed Service for Apache Flinkなど)がリアルタイムに読み取って処理します。なお、収集したデータは一定期間(デフォルトで24時間、最長で1年)保持できます。
![【図を表示】](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/22968/k58587.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=627a74560906b7cb810af67e2c5665d7d38e25e2b254cf1016878172875bc2ac)
なお、Kinesisではストリーミングデータを生成し送信するデバイスやサービスなどを「プロデューサー」、ストリーミングデータを読みだして処理する側を「コンシューマー」と呼びます。
○Kinesis Data Streamsのアーキテクチャ
![<img src="/mondai3/img/jpg/k58778.jpg">](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/22967/k58778.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=3732009cd936039ed085aa82903433c566d9b8ab69043079898ea389a98ac350)
Kinesis Data Streamsでは、ストリーミングデータを「データレコード」という単位で処理します。データレコードには、データそのものに加えて「パーティションキー」「シーケンス番号」が含まれます。
・パーティションキー ... どのシャード(後述)で処理するかを決めるもの。プロデューサー側で設定する
・シーケンス番号 ... シャードごとに一意の番号。シャード内のデータレコードの順序性が保証される
データレコードは「シャード」に分散され処理されます。シャードは、ストリームで処理できるデータの容量を決めるもので、シャードが多いほど並列処理の数が増えてスループットが上がります。
■Kinesis Video Streams
カメラやその他のデバイスからリアルタイムで動画データを取り込むサービスです。取り込んだ動画データは、他のAWSサービスと統合して、解析や加工、再生などに利用できます。
![【図を表示2】](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/22969/kk58587.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=eb901f4e89fe84983d61abd9169c73236e7c406dd1fc71a0f381dff78c244c76)
Amazon Kinesisはストリーミングデータをリアルタイムで収集・処理するサービスです。
ストリーミングデータとは継続的に生成されるデータのことをいいます。例えばスマートフォンアプリなどでユーザーが生成するログや、証券取引所の株取引情報、SNSやオンラインゲームのデータなどが該当します。Kinesisではこのようなストリーミングデータを収集し、他のAWSサービスと連携してサンプリングや分析などができます。なお、ストリーミングデータを処理することを「ストリーム処理」といいます。
一方、「バッチ処理」はまとまったデータに対して一括で処理を行う方式です。バッチ処理は、日次、週次、月次、年次の集計処理のように特定範囲のデータに対して定期的に実行されます。
多くの企業ではストリーム処理とバッチ処理の両方を用いてシステムを構築し、柔軟なデータ処理を行っています。
【Kinesisの種類】
Kinesisには用途に応じた複数のサービスがあります。
■Kinesis Data Streams
Kinesis Data Streamsは外部から送信されるストリーミングデータを収集するサービスです。センサーなどが生成したストリーミングデータをKinesis Data Streamsのストリームへ送信し、ストリーム上のデータは分析や機械学習などを行う他のAWSサービス(例えばLambda、Data Firehose、Managed Service for Apache Flinkなど)がリアルタイムに読み取って処理します。なお、収集したデータは一定期間(デフォルトで24時間、最長で1年)保持できます。
![【図を表示】](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/22968/k58587.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=627a74560906b7cb810af67e2c5665d7d38e25e2b254cf1016878172875bc2ac)
なお、Kinesisではストリーミングデータを生成し送信するデバイスやサービスなどを「プロデューサー」、ストリーミングデータを読みだして処理する側を「コンシューマー」と呼びます。
○Kinesis Data Streamsのアーキテクチャ
![<img src="/mondai3/img/jpg/k58778.jpg">](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/22967/k58778.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=3732009cd936039ed085aa82903433c566d9b8ab69043079898ea389a98ac350)
Kinesis Data Streamsでは、ストリーミングデータを「データレコード」という単位で処理します。データレコードには、データそのものに加えて「パーティションキー」「シーケンス番号」が含まれます。
・パーティションキー ... どのシャード(後述)で処理するかを決めるもの。プロデューサー側で設定する
・シーケンス番号 ... シャードごとに一意の番号。シャード内のデータレコードの順序性が保証される
データレコードは「シャード」に分散され処理されます。シャードは、ストリームで処理できるデータの容量を決めるもので、シャードが多いほど並列処理の数が増えてスループットが上がります。
■Kinesis Video Streams
カメラやその他のデバイスからリアルタイムで動画データを取り込むサービスです。取り込んだ動画データは、他のAWSサービスと統合して、解析や加工、再生などに利用できます。
![【図を表示2】](https://ping-t-production-strg.s3.ap-northeast-1.amazonaws.com/uploads/question_image/file/22969/kk58587.jpg?X-Amz-Expires=600&X-Amz-Date=20240727T024912Z&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAgaDmFwLW5vcnRoZWFzdC0xIkgwRgIhANHJuOowIP70c5JvzZjwVv5qS91hqIWdQFZzYJWrf%2BvoAiEAvoVVFMmtRzvvs5kU35dlS89gfzMOt4V6dNlhGoNwtKIqsQQI4v%2F%2F%2F%2F%2F%2F%2F%2F%2F%2FARAAGgw2MjM0Mjk4MjcyNzUiDH%2FzNF8qx%2BnHRiOCJSqFBAQWQnV37gSoyaGHp1Jz5xS766UNOpZxuBfnriUqNRkTRQvse4S%2BUx5wWq3Cq1N85EgDWHpTUdk0z0onEOaGztMin1WP6QWXrlX8SmK5wxvk8von2NK6jFMcwAQfaEH7twN%2BjyrnhKNxNFO5vt8vs0H%2FJXTjGK6ePeLRthQ4%2FxqLEtmuQ%2BYoUojAqQBWCEjP5KpAAje2xJqxViGg9iqYP0STI7gWVAYeEmv1nzs4AxvJNdf1fYRBilxZ2PIgn1mvR%2FK7dxbz2smHtg2HhzsZjaJ5H8WHqRLQINQrr714HX9u4k1RvZzzuCtmNDvgC93ASD8mKQlAuaAA1SGfG60tXKUayewaXZFPlGcR%2B6A1j7d5INESj%2BLzK0Jp2dP10GooOXm8UnTCLj2nkFFxMh9VIE64CY1avR%2F0kV72Po7FoTcVcuzoH2IbOrSgIyT8N4Ij8F5fOqcqbDdyhmNRfLmd0N7ZP25qoU6K3rIMeMWKgPzaeT54s2i%2Bnhszui3m0Sy9he9RwbFlf%2FMmaHob3lafQzjThxSkzqFbWm1mogY3tfKExSH1iRtyX1Y%2BAim4wtO1ZizqEDqMkW8SAzD0xxIneYuT3GPr66KWSCEHKHW6t20NRYGyXTEr%2FwELefBQKzfDPLRwL4OPSeHHkEUiypb763zevR2RhLks%2B4EKNse0Py4eASWiTbwwuP%2BQtQY6pQHuYZCSXCZiYnz1Mbqq4CBIMnYufh%2FzzOnVAmaVI9V%2FHpM72SD2qm%2Bk6YSrekCCOcmaa5EwsV9AQDxwXatoy96nbNYBSbjYNXQIq5ygpCHI03EDC%2FTaH%2B9sanKP4qnQopFS5G9SAJl1OdRKmgycdC3TW8IYhWC1%2BFhsTJeNsF824TVcPR4VGJbPfwr75zlJD9Jhh6YhJhq1UMNJaqEm5AFczAffBV0%3D&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=ASIAZCJ2QHLFRAGVRWFZ%2F20240727%2Fap-northeast-1%2Fs3%2Faws4_request&X-Amz-SignedHeaders=host&X-Amz-Signature=eb901f4e89fe84983d61abd9169c73236e7c406dd1fc71a0f381dff78c244c76)
SNSが正解ではない理由
v
v15604
公開日 2023/04/27
問題ID : 30656にてSNSの特徴が
・イベント発生を契機に次の処理へのプッシュ通知を行えます
・メッセージフィルタリング機能がある
・はほぼ無制限にスケーリングできる
上記理由で
・リアルタイムにデータを受信して処理する
・高負荷に対応できる
と考えSNSとLambdaを利用する項目を選択しました。
確認したい内容として
元々SNSはサービスとサービス間を連携し、変更などイベントを通知するサービス。
今回ユーザーとEC2インスタンスの中のアプリとのやり取りになるので、
そもそも採用できるサービスではない、という認識でよいでしょうか。
b
birdpixy
2023/04/28 11:19
おそらくポイントは「大量」に「リアルタイム性の高いデータ」を処理するというところだと思います。
Amazon Kinesis Data Streamsはリアルタイムの大量データ処理に特化したサービスであるのに対し、Amazon SNSはメッセージング&通知機能でリアルタイム性はあるものの大量のデータ処理が得意というわけではないので、その違いかなと思いました。
コメント
この投稿に対して返信しませんか?
c chmod007
2024/01/08 11:23
問題ID : 30656は、正直宜しくない(参考にならない)問題と思いました。 なぜなら、Amazon Kinesis Data Streamsを使ったとて、障害が解消されるとは、限らないからです。 まぁ、無料で使わせていただいているので、そういう問題もあるだろうなとみています。有料であれば「ふざけるな」ではありますが。