MapReduceにチャレンジしよう - 触ってみよう！ビッグデータを支えるクラウド技術

ITpro -
今回はいよいよ、MapReduceを使ってデータ処理を実践してみます。その前にまず、MapReduceの仕組みを大まかに理解しておきましょう。
Hadoopの特徴の一つは、「並列処理可能な小さなタスクに分割し、空いたCPUに順次割り当てる」という点です。どんなに台数が多くても、全体の処 理を独立した小さなタスクに分割して並行処理することで、CPUなどの資源を効率的に使うことができるというものです。この仕組みを実現しているのが、 MapReduceです。

MapReduceはすべてのデータを非常にシンプルな形で表現します。大きく分けて、「key-valueペア」と「keyvaluesペア」の2つのモデルがあります（図1）。後者のvalueに「s」が付いているところが違います。... 続きを読む

http://itpro.nikkeibp.co.jp/article/COLUMN/20120306/384805/

Posted in: Hadoop,MapReduce