助け合いフォーラム
AWS ソリューションアーキテクト - アソシエイト(SAA-C03)
問題ID : 30511
問題を開く
ある企業がローカルに保存している500TBのデータは、企業独自のフォーマットで保存されている。AWSクラウドへデータを移行するにあたり、フォーマットを標準のものに変換してから保存するようにしたいとき、適切な方法はどれか。なお、同社には回線速度1Gpbsのインターネット回線があり、データ移行の期間は1ヶ月とする。
正解
SnowballにLambda関数を設定し、データの変換処理を組み込む。変換したデータをSnowballデバイスに保存してAWSへ返送する
解説
AWS Snow Family（Snowball, Snowcone）は、オンプレミス上の大量のデータをAWSのストレージへ安全に転送するために、専用の物理デバイスを提供するサービスです。AWSから大容量ストレージを搭載したデバイスが貸し出され、ユーザーが移行対象のデータをデバイスへ取り込みます。その後、デバイスをAWSに返送するとデータがAmazon S3に保存されます。データ量に応じて複数のデバイスを利用することも可能です。
本設問のケースでは、「大容量のデータ（500TB）をAWSクラウドへ移行する」という主旨から、AWS Snowballを利用して移行するのが効率的かつ高速な手法です。
Snowballではオプションとして事前にEC2 AMIやLambda関数をデバイスに設定しておくことができます。転送するデータに特殊な処理を行いたい場合や分析を行いたいようなケースで活用します。
したがって正解は
・SnowballにLambda関数を設定し、データの変換処理を組み込む。変換したデータをSnowballデバイスに保存してAWSへ返送する
です。
事前に設定しておいたLambda関数はSnowball Edgeデバイス上で動作します。デバイスにデータが書き込まれたタイミングでLambda関数を動作させ、データ処理を行うことができます。
なお、データ変換の他にも、サイズの小さなファイルが多量にある場合には圧縮してからデバイスへ転送し、Lambda関数を使ってデバイス上のファイルを解凍するといったユースケースもあります。
その他の選択肢については、以下のとおりです。
・オンプレミスの環境でデータの変換処理をしてからインターネット経由でS3バケットへ転送する
・新たにEC2インスタンスを作成し、データ変換プログラムを配置する。EC2インスタンスにインターネット経由でデータを転送し、出力結果をS3バケットへ保存する
インターネット回線を使用する場合は転送速度が保証されません。転送速度1Gbpsで500TBのデータを転送すると、90%の伝送効率で約52日（1KByte=1000Byteで計算）かかります。1か月以内にはデータ移行できません。
・オンプレミスの環境でデータの変換処理をしてからStorage GatewayでS3バケットへ転送する
Storage GatewayはオンプレミスからAWSのストレージサービスへのアクセスを高速かつセキュアに行うことができるサービスです。今回のケースではデータをAWSクラウドとオンプレミスとで共有する目的でないため、Storage GatewayではなくSnowballを利用してデータ移行する方が効率的なので、誤りです。
また、Storage Gatewayは一般的にインターネット回線を利用します。前述のとおり、インターネットでは1か月以内にはデータ移行できません。
本設問のケースでは、「大容量のデータ（500TB）をAWSクラウドへ移行する」という主旨から、AWS Snowballを利用して移行するのが効率的かつ高速な手法です。
Snowballではオプションとして事前にEC2 AMIやLambda関数をデバイスに設定しておくことができます。転送するデータに特殊な処理を行いたい場合や分析を行いたいようなケースで活用します。
したがって正解は
・SnowballにLambda関数を設定し、データの変換処理を組み込む。変換したデータをSnowballデバイスに保存してAWSへ返送する
です。
事前に設定しておいたLambda関数はSnowball Edgeデバイス上で動作します。デバイスにデータが書き込まれたタイミングでLambda関数を動作させ、データ処理を行うことができます。
なお、データ変換の他にも、サイズの小さなファイルが多量にある場合には圧縮してからデバイスへ転送し、Lambda関数を使ってデバイス上のファイルを解凍するといったユースケースもあります。
その他の選択肢については、以下のとおりです。
・オンプレミスの環境でデータの変換処理をしてからインターネット経由でS3バケットへ転送する
・新たにEC2インスタンスを作成し、データ変換プログラムを配置する。EC2インスタンスにインターネット経由でデータを転送し、出力結果をS3バケットへ保存する
インターネット回線を使用する場合は転送速度が保証されません。転送速度1Gbpsで500TBのデータを転送すると、90%の伝送効率で約52日（1KByte=1000Byteで計算）かかります。1か月以内にはデータ移行できません。
・オンプレミスの環境でデータの変換処理をしてからStorage GatewayでS3バケットへ転送する
Storage GatewayはオンプレミスからAWSのストレージサービスへのアクセスを高速かつセキュアに行うことができるサービスです。今回のケースではデータをAWSクラウドとオンプレミスとで共有する目的でないため、Storage GatewayではなくSnowballを利用してデータ移行する方が効率的なので、誤りです。
また、Storage Gatewayは一般的にインターネット回線を利用します。前述のとおり、インターネットでは1か月以内にはデータ移行できません。
参考
【AWS Snow Family】
オンプレミスからクラウドへシステムを移行する際、データ転送は非常に大きな課題です。数十TBからPB（※）級のデータを移行する場合、ネットワークを通じて転送しても数時間では完了しません。さらに、ネットワーク帯域や速度、セキュリティ、コストなども考慮する必要があります。このような状況では、物理デバイスを使ってデータをオフラインで転送する方が、より速く、確実なケースもあります。
※ 1TB(テラバイト)=1000GB、1PB(ペタバイト)=1000TB
AWS Snow Family（Snowball, Snowcone）は、オンプレミス上の大量のデータをAWSのストレージへ安全に転送するために、専用の物理デバイスを提供するサービスです。AWSから大容量ストレージを搭載したデバイスが貸し出され、ユーザーが移行対象のデータをデバイスへ取り込みます。その後、デバイスをAWSに返送するとデータがAmazon S3に保存されます。データ量に応じて複数のデバイスを利用することも可能です。
また、必要に応じてCPU（vCPU）やメモリなどを搭載したストレージも選択できるので、データ転送だけでなく、IoT端末やエッジコンピューティング（IoT端末自身、または近いエリアのサーバーで処理を行うこと）にも利用できます。
注文する際は、データ転送（インポート・エクスポート）用途とコンピューティング用途など自分にあったものを選択します。
コンピューティング用途の場合は、複数台で構成するクラスターの注文も可能です。クラスターを構成することにより耐久性や耐障害性を向上できます。
利用したい機器を選択します。
Snow Familyの特徴として、デバイスはインターネット接続が不要なオフライン環境で動作します。また、オプションとして、事前にEC2 AMIやLambda関数の設定が可能です。これにより、データ転送時に自動で特殊な処理やデータ分析を実行でき、効率的にデータを活用できます。
【AWS Snow Familyの種類】
Snow Familyには、データ量や用途に応じて選べる複数の種類があります。
●Snowcone
Snowconeは、物理的にデータを転送する方法のほか、DataSyncを利用してデータを移行することも可能です。SnowconeデバイスにはDataSyncエージェントがプリインストールされており、DataSyncを利用してSnowconeデバイスとAWSストレージサービス間でデータ転送ができます。物理的な輸送ではデバイスからS3への移行に限られますが、DataSyncを利用するとデバイスから直接FSx for Windows File Serverへデータを転送できるので、ファイルのアクセス権限を保持したまま移行できます。
●Snowball Edge Storage Optimized
Snowball Edge Storage Optimizedは、大規模なデータ移行やストレージに適したデバイスです。オンプレミスからS3へのデータインポートだけでなく、S3からのデータエクスポートにも対応しています。インポート時は空のデバイスが送付され、ユーザーがデータをデバイスへ転送します。一方、エクスポート時には、指定したS3バケットからデータがロードされた状態でデバイスが届きます。使用後にデバイスをAWSに返送すれば、AWS側でデータ移動などの処理が行われ、デバイス内のデータは消去されます。
●Snowball Edge Compute Optimized
Snowball Edge Compute Optimizedは、エッジコンピューティング向けのデバイスで、ネットワーク接続が難しい環境や、インターネットが利用できない場所でのデータ処理、分析、機械学習に最適です。特に、データ転送前の前処理を行う場面で効果を発揮します。
【クラウドへのデータ移行】
Snow Family以外に、オンプレミスからAWSへのデータ移行を支援する主なサービスは以下のとおりです。
・AWS Storage Gateway ... オンプレミス環境からAWSのストレージサービスへ、高速かつセキュアにアクセスできるゲートウェイサービス
・AWS DataSync ... オンプレミスのストレージと、S3、EFS、FSx for Windows File Serverなどの間でデータを移行できるサービス
※詳細については、それぞれのサービスの分野を参照してください。
Snow Familyとこれらのサービスの大きな違いは、オフラインでデータを移行できるかどうかです。上述のサービスはオンラインでデータを移行するため、リアルタイムでデータが更新されている場合や、システムを停止できない状況での移行に向いています。
一方、Snow Familyは、オフラインでのデータ移行サービスのため、過去のバックアップデータやログファイルなど、静的なデータの一括移行に適しています。移行済みのデータは、S3上でいつでもアクセス可能です。また、Snow Familyで転送した後に新たに生成されたデータは、直接S3に保存することで、初期のデータ転送量を抑えつつ、スムーズにクラウドストレージへ移行を進めることができます。
オンプレミスからクラウドへシステムを移行する際、データ転送は非常に大きな課題です。数十TBからPB（※）級のデータを移行する場合、ネットワークを通じて転送しても数時間では完了しません。さらに、ネットワーク帯域や速度、セキュリティ、コストなども考慮する必要があります。このような状況では、物理デバイスを使ってデータをオフラインで転送する方が、より速く、確実なケースもあります。
※ 1TB(テラバイト)=1000GB、1PB(ペタバイト)=1000TB
AWS Snow Family（Snowball, Snowcone）は、オンプレミス上の大量のデータをAWSのストレージへ安全に転送するために、専用の物理デバイスを提供するサービスです。AWSから大容量ストレージを搭載したデバイスが貸し出され、ユーザーが移行対象のデータをデバイスへ取り込みます。その後、デバイスをAWSに返送するとデータがAmazon S3に保存されます。データ量に応じて複数のデバイスを利用することも可能です。
また、必要に応じてCPU（vCPU）やメモリなどを搭載したストレージも選択できるので、データ転送だけでなく、IoT端末やエッジコンピューティング（IoT端末自身、または近いエリアのサーバーで処理を行うこと）にも利用できます。
注文する際は、データ転送（インポート・エクスポート）用途とコンピューティング用途など自分にあったものを選択します。
コンピューティング用途の場合は、複数台で構成するクラスターの注文も可能です。クラスターを構成することにより耐久性や耐障害性を向上できます。
利用したい機器を選択します。
Snow Familyの特徴として、デバイスはインターネット接続が不要なオフライン環境で動作します。また、オプションとして、事前にEC2 AMIやLambda関数の設定が可能です。これにより、データ転送時に自動で特殊な処理やデータ分析を実行でき、効率的にデータを活用できます。
【AWS Snow Familyの種類】
Snow Familyには、データ量や用途に応じて選べる複数の種類があります。
●Snowcone
Snowconeは、物理的にデータを転送する方法のほか、DataSyncを利用してデータを移行することも可能です。SnowconeデバイスにはDataSyncエージェントがプリインストールされており、DataSyncを利用してSnowconeデバイスとAWSストレージサービス間でデータ転送ができます。物理的な輸送ではデバイスからS3への移行に限られますが、DataSyncを利用するとデバイスから直接FSx for Windows File Serverへデータを転送できるので、ファイルのアクセス権限を保持したまま移行できます。
●Snowball Edge Storage Optimized
Snowball Edge Storage Optimizedは、大規模なデータ移行やストレージに適したデバイスです。オンプレミスからS3へのデータインポートだけでなく、S3からのデータエクスポートにも対応しています。インポート時は空のデバイスが送付され、ユーザーがデータをデバイスへ転送します。一方、エクスポート時には、指定したS3バケットからデータがロードされた状態でデバイスが届きます。使用後にデバイスをAWSに返送すれば、AWS側でデータ移動などの処理が行われ、デバイス内のデータは消去されます。
●Snowball Edge Compute Optimized
Snowball Edge Compute Optimizedは、エッジコンピューティング向けのデバイスで、ネットワーク接続が難しい環境や、インターネットが利用できない場所でのデータ処理、分析、機械学習に最適です。特に、データ転送前の前処理を行う場面で効果を発揮します。
【クラウドへのデータ移行】
Snow Family以外に、オンプレミスからAWSへのデータ移行を支援する主なサービスは以下のとおりです。
・AWS Storage Gateway ... オンプレミス環境からAWSのストレージサービスへ、高速かつセキュアにアクセスできるゲートウェイサービス
・AWS DataSync ... オンプレミスのストレージと、S3、EFS、FSx for Windows File Serverなどの間でデータを移行できるサービス
※詳細については、それぞれのサービスの分野を参照してください。
Snow Familyとこれらのサービスの大きな違いは、オフラインでデータを移行できるかどうかです。上述のサービスはオンラインでデータを移行するため、リアルタイムでデータが更新されている場合や、システムを停止できない状況での移行に向いています。
一方、Snow Familyは、オフラインでのデータ移行サービスのため、過去のバックアップデータやログファイルなど、静的なデータの一括移行に適しています。移行済みのデータは、S3上でいつでもアクセス可能です。また、Snow Familyで転送した後に新たに生成されたデータは、直接S3に保存することで、初期のデータ転送量を抑えつつ、スムーズにクラウドストレージへ移行を進めることができます。
回答が間違っていると思われる
z
zampona
投稿日 2023/12/16
問題文は
ある企業がローカルに保存している30TBのデータは、企業独自のフォーマットで保存されている。
AWSクラウドへデータを移行するにあたり、フォーマットを標準のものに変換してから保存するようにしたいとき、
適切な方法はどれか。なお、データ移行の期間は 1週間 とする。
選択肢は
- AWS SnowballデバイスにLambda関数を設定し、データの変換処理を組み込む。変換したデータをSnowballへ保存する
- AWS Storage Gatewayを利用する。自社のアプリケーションなどでフォーマットを変換してからS3へ保存する
- オンプレミスからS3バケットへ転送する際、自社のアプリケーションで変換したデータをアップロードする
- 新たにEC2インスタンスを作成し、データ変換プログラムを配置する。S3上へは変換前のデータを保存し、データ変換プログラムに自動で変換させ、再度アップロードさせる
で、正解は Snowball となっているが、Snowball の注文から S3 のアップロードまで 最短1週間程度 であることを考えると現実的に１週間の期限に間に合うとは思えない
スタッフからの返信
この投稿に対して返信しませんか？
s staff_satomi
2023/12/18 11:53
zampona様 ご指摘の点を修正いたしました。 ご報告いただきまして、誠にありがとうございます。