MapReduceにチャレンジしよう - 触ってみよう！ビッグデータを支えるクラウド技術

ITpro -
今回はいよいよ、MapReduceを使ってデータ処理を実践してみます。その前にまず、MapReduceの仕組みを大まかに理解しておきましょう。
Hadoopの特徴の一つは、「並列処理可能な小さなタスクに分割し、空いたCPUに順次割り当てる」という点です。どんなに台数が多くても、全体の処 理を独立した小さなタスクに分割して並行処理することで、CPUなどの資源を効率的に使うことができるというものです。この仕組みを実現しているのが、 MapReduceです。

MapReduceはすべてのデータを非常にシンプルな形で表現します。大きく分けて、「key-valueペア」と「keyvaluesペア」の2つのモデルがあります（図1）。後者のvalueに「s」が付いているところが違います。... 続きを読む

http://itpro.nikkeibp.co.jp/article/COLUMN/20120306/384805/

Read More

“ビッグデータ”が経営を変える：ITの大バーゲンが加速する「ビッグデータ」活用の潮流

ITmedia エンタープライズ -
もはやバズワードという一言では片付けられないほど大きな注目を集めている「ビッグデータ」。このテーマに対して企業はいかに取り組むべきか。

ソーシャルメディアが広く市民権を得たのに歩調を合わせ、ITの表舞台に躍り出てきたのが「ビッグデータ」だ。その潮流は、「またふわふわしたバズワードか」といぶかっていた企業の情報システム部門も無視できないほど大きなうねりとなっている。
　ビッグデータとは、その収集、管理、そして処理が従来の情報システムではコストや時間がかかりすぎ、現実的には活用が難しいサイズのデータセット を言う。日々増え続けるソーシャルメディアの書き込みやWebサーバが生成するログデータなどはすぐに思い浮かぶだろう。RFIDのようなさまざまなセン サーが刻々と生み出すデータもある。また、電話会社の通話詳細データや、医療分野のゲノム情報、イメージ／ビデオのように既に馴染みの深いものもビッグ データの範疇に入る。... 続きを読む

http://www.itmedia.co.jp/enterprise/articles/1203/06/news006.html

Read More

MapReduce パターンとアルゴリズム，ユースケース

InfoQ-
Hadoop と ビッグデータ利用の爆発的な増加が示すように，多くの人々が今，既存のシステムを MapReduce に転換するためのアプローチを模索している。しかし MapReduce の実装設計を取り上げた出版物は，"Data-Intensive Text Processing with MapReduce" と "Mahout in Action" という特筆に値する例外を除けば，残念ながら皆無に等しいのが現状だ。そのような中，Ilya Katsov 氏が自身の新しい記事 "MapReduce Patterns, Algorithms, and Use Cases" で，MapReduce フレームワークの適用によって解決可能な問題についての系統的な概説を行っている。... 続きを読む

http://www.infoq.com/jp/news/2012/02/MapReducePatterns

Read More