参考

【ビッグデータの活用とAmazon EMR】
現代の人々は、日々の暮らしや仕事をするうえで膨大な量のデジタルデータと共に生活しています。スマートフォンでの位置情報から、Webでのショッピング履歴などの情報、日々の気象情報など、何千何万というデータはリアルタイムに収集されて分析された結果、私達の生活に役立てられます。これらのデータはビッグデータと呼ばれます。
ビッグデータは、一つのコンピュータで扱えるデータ量ではありません。複数のコンピュータに少しずつ処理を分散し、演算を並列に行うことで、迅速に結果を得ます。このような処理を「分散処理」といいます。
さらに近年では、ディープラーニングや機械学習分野の発展により、従来よりも効率的かつ迅速にビッグデータを活用できるようになりました。
本項では、ビッグデータの分散処理および分析を行い、機械学習にも活かすことができるサービス「Amazon EMR」について説明します。

【Amazon EMR】
Amazon EMR（旧Amazon Elastic MapReduce）とは、ビッグデータの処理や分析を行うサービスです。ビッグデータを処理する既存のフレームワークであるHadoop（ハドゥープ）やSpark（スパーク）を用いています。
さらに、ビッグデータを分析し経営に役立てることを「BI：Business Intelligence」といい、代表的なBIツールにはMicrosoft ExcelやMicroStrategyなどがあります。Amazon EMRはこれらのツールにも対応しています。

■EMRのアーキテクチャ
データを複数のサーバーに配置して並列に処理する「分散処理」により、迅速かつ効率の良い処理を実現しています。


「分散処理」という名の通り、EMRでは3つの役割を持つノード（EC2インスタンス）でクラスターを構成し、処理を分散します。
・マスターノード
　クラスター全体を管理するノード。コアノードおよびタスクノードへ処理を投入したり分散処理の調整を行う。
・コアノード
　演算処理を実行するノード。データを保存するファイルシステムHDFS（Hadoop Distributed File System）を持つ。
・タスクノード（オプション）
　コアノードと同様に演算処理を実行する。ファイルシステムを持たない、演算処理専用のノード。

クラスター内のコアノードまたはタスクノードは、手動、または定めたポリシーなどに従って自動でスケーリングすることができます。

■HDFSとEMRFS（EMR File System）
EMRでは、ファイルシステムとしてHDFSとEMRFSを利用できます。

・HDFS（Hadoop Distributed File System）
分散処理ソフトウェア「Hadoop」のファイルシステムです。EMRではマスターノードとコアノードで利用します。
EMRクラスターが終了すると、HDFS上のデータは失われます。

・EMRFS（EMR File System）
Amazon S3をEMRクラスターからファイルシステムとして利用できるようにした機能です。
データを永続的に保持でき、EMRクラスターが終了してもデータは失われません。また、S3が持つ機能（データの暗号化やデータ読み込み時の強い一貫性のサポートなど）も備わっています。

なお、EMRの旧名称「Elastic MapReduce」の「MapReduce」とは、Googleが開発した、ビッグデータを分散処理するフレームワークのことです。