Amazon EMR 是一個托管集群平臺缸榛,可簡化在 AWS 上運行大數(shù)據(jù)框架 (如 Apache Hadoop 和 Apache Spark) 以處理和分析海量數(shù)據(jù)的操作圈纺。借助這些框架和相關(guān)的開源項目 (如 Apache Hive 和 Apache Pig)。您可以處理用于分析目的的數(shù)據(jù)和商業(yè)智能工作負載默赂。此外憔儿,您可以使用 Amazon EMR 轉(zhuǎn)換大量數(shù)據(jù)和將大量數(shù)據(jù)移入和移出其他 AWS 數(shù)據(jù)存儲和數(shù)據(jù)庫,如 Amazon Simple Storage Service (Amazon S3) 和 Amazon DynamoDB放可。
Amazon 的 Hadoop Solution 是 EMR
HDFS is a distributed, scalable, and portable file system for Hadoop. An advantage of HDFS is data awareness between the Hadoop cluster nodes managing the clusters and the Hadoop cluster nodes managing the individual steps.
目前唯一可以存儲 1 petabyte 數(shù)據(jù)的地方就是 Amazon