ストレージニュース: Hadoop

ラベル Hadoop の投稿を表示しています。すべての投稿を表示

2012/03/30

分析技術編：Hadoopへの期待と課題

11:17 MIC Associates

ITPro -
この連載では、ビッグデータの収集から格納までのシステムデザインについて概観してきた。最終回は締めくくりとして、分析技術の課題と今後の方向性を考えてみる。
ビッグデータにおける分析技術の課題
分析技術の課題を考えるために、前回取り上げたECサイトの消費者行動ログデータの分析を想定してみる。図1は、割引率と売上額の相関だけでなく、購入時に表示されていた口コミ情報がどの程度の影響を与えるかを分析する例を示したものだ。この例では、口コミ評価が高いと、割引率に関係なく売上額が高いことを示している（右グラフの円の大きさは売上額の大きさを示す）。 ... 続きを読む

http://itpro.nikkeibp.co.jp/article/COLUMN/20120312/385906/

Is Hadoop the new tape?

11:40 MIC Associates

CNET -
Is Hadoop a cool new petabyte storage array? Or is it already as obsolete as yesteryear's tape drives? Some think Hadoop is merely a bridge to some better, future platform.

I attended GigaOM's Structure:Data 2012 conference in New York City last week. This is the second one I've attended and I'm now a confirmed advocate of this event. Om Malik brings together people who, in one way or another, represent much the creative thinking around so-called big data. I got the feeling that I could strike up a conversation with anyone there and learn something new.

I noticed at least two major differences between the Structure:Data event I attended last year and this year's version. Last year, most if not all of the exhibiting vendors represented the xSQL community (mySQL, NoSQL, etc.). ... 続きを読む

http://news.cnet.com/8301-21546_3-57404730-10253464/is-hadoop-the-new-tape/http://news.cnet.com/8301-21546_3-57404730-10253464/is-hadoop-the-new-tape/

“元気玉”ＩＴ、「ハドゥープ」はＩＴ投資余力のない企業の味方?!

11:10 MIC Associates

ダイヤモンド・オンライン -
今回は、Hadoop（ハドゥープ）と言う新たなテクノロジーが生み出す、革新的ＩＴとリアルタイム・ビジネスの実現について、書いてみたいと思います。
Hadoopとは、これまで大型コンピュータ（メインフレームとかって言うこともあります）でないと難しかった「長時間バッチ処理」を、ジグソー・パズルのように小さく切り刻んで多数の安価なコンピュータに分散し、みんなで分担して高速処理してまたもとの組み合わせに復元する、という技術です。
これって、ドラゴン・ボールＺで、悟空が、世界中の動物たちのエネルギーを集めて膨大な力に変える「元気玉」に似ていると思います。そこで、このHadoop型のＩＴを、ここでは“元気玉”ＩＴと呼ぶことにします。... 続きを読む

http://diamond.jp/articles/-/16554

分散ファイルシステムHDFSを体験する - 触ってみよう！ビッグデータを支えるクラウド技術

11:09 MIC Associates

ITpro -
Googleが使っている分散ファイルシステム「GFS」のオープンソースによる実装が、Hadoopの「HDFS」です。ファイルシステムというと、Windowsの「FAT32」や「NTFS」、Linuxの「ext3」や「ext4」などが有名ですが、HDFSはそれらとはちょっと使い勝手が違います。ここでは、実際にHDFSを使ってみます。
とはいえ多数のPCを用意するのは大変でしょうから、ここでも疑似分散モードで動かします。同じマシン上に複数のHDFSのデーモンを立ち上げる方法です。HDFSのデーモンとは前で説明したように、NameNodeやDataNodeです。擬似分散モードでも、複数のデーモンが協調して動くことで、 HDFSを利用できるようになります。実際にHDFSを体験してみる前に、HDFSとはどういうファイルシステムなのか簡単に理解しておきましょう。... 続きを読む

http://itpro.nikkeibp.co.jp/article/COLUMN/20120306/384804/

MapReduceにチャレンジしよう - 触ってみよう！ビッグデータを支えるクラウド技術

10:43 MIC Associates

ITpro -
今回はいよいよ、MapReduceを使ってデータ処理を実践してみます。その前にまず、MapReduceの仕組みを大まかに理解しておきましょう。
Hadoopの特徴の一つは、「並列処理可能な小さなタスクに分割し、空いたCPUに順次割り当てる」という点です。どんなに台数が多くても、全体の処理を独立した小さなタスクに分割して並行処理することで、CPUなどの資源を効率的に使うことができるというものです。この仕組みを実現しているのが、 MapReduceです。

MapReduceはすべてのデータを非常にシンプルな形で表現します。大きく分けて、「key-valueペア」と「keyvaluesペア」の2つのモデルがあります（図1）。後者のvalueに「s」が付いているところが違います。... 続きを読む

http://itpro.nikkeibp.co.jp/article/COLUMN/20120306/384805/

ビッグデータ対応、約半数の企業が「Hadoop採用予定なし」の理由

10:42 MIC Associates

TechTargetジャパン -
Hadoopへの関心は急速に高まっているように見える。しかし、ある米調査によると約半数（45％）は、Hadoopを検討するつもりはない、あるいは同技術を自社のアーキテクチャに導入する予定はないと答えたという。

IT系のメディアを見渡せば、分散コンピューティング環境で膨大なデータを処理するためのオープンソース技術の説明として、「ビッグデータ」という用語と「Hadoop」という言葉が結び付いているような印象を受ける。しかし最近の調査によると、このような認識は錯覚にすぎないようだ。　米Ventana Researchの調査ディレクター、デビッド・メニンガー氏は最近、「The Challenge of Big Data: Benchmarking Large-Scale Data Management Insights（ビッグデータの課題：大規模データの管理手法を検証する）」と題された調査報告書を公表した。これは163社の有効回答者から得られた調査結果に基づいてビッグデータ分野の現状を示したもの。同報告書によると、急速に拡大する巨大な構造化／非構造化データを管理する技術は今も進化しつつあるが、Hadoopなどの特定のツールだけが活躍しているわけではないとしている。 ... 続きを読む

http://techtarget.itmedia.co.jp/tt/news/1203/14/news04.html

Hadoopって何がすごいの - 触ってみよう！ビッグデータを支えるクラウド技術

11:02 MIC Associates

ITpro -
Hadoopは、普及品のPCサーバーを多数つなげて、莫大な情報を処理できるようにしたオープンソース・ソフトウエアです。Yahoo!や FacebookなどのWebサービスの開発者が多数、Hadoopの開発に参加していて、これらの企業によって実際に活用されています。
本連載ではまず、いま熱い視線を集めているHadoopを実際に触っていくことで、Webサービスを支えている「大規模データ処理」を体験していきます。
まず最初に、Hadoopとは何か、何が「うれしい」のか、を説明します。それには、「スケールアウト」という言葉の意味を知っておく必要があります。Hadoopのメリットは、スケールアウトの問題点を克服しているところにあるからです。... 続きを読む

http://itpro.nikkeibp.co.jp/article/COLUMN/20120306/384802/

Next Hadoop confirms data as a platform

9:59 MIC Associates

IT WORLD -

You may have heard the news out of last week's Strata: the next version of Hadoop is going to be bigger and badder than ever. But hidden within the hype about size and speed is a new feature that could radically shift the way Hadoop is used.

I hit the talk given by Hortonworks' co-founder and Apache Hadoop VP Arun Murthy at the conference and heard all of the flashy stuff: 6,000-node support, high-availability Hadoop Distributed File System (HDFS), a next-generation form of MapReduce that will enable the support of non-MapReduce applications, and the separation of block and namespace management of HDFS that will enable significant scaling of data. ... 続きを読む

http://www.itworld.com/big-datahadoop/256252/next-hadoop-confirms-data-platform

VMware が Spring Hadoop を発表

10:59 MIC Associates

InfoQ -
VMware が Spring フレームワークと Apache Hadoop プラットフォームを統合した Spring Hadoop を提供すると発表した。このプロジェクトでは MapReduceや Hive，Pig,， Cascading ジョブなど，さまざまなサービスとユーティリティを設定，生成，あるいは実行するための便利なメカニズムを，Spring コンテナを通じて実現する。さらに Groovy や JRuby，Jython，Rhino など JVM スクリプティング言語による HDFS データアクセスのサポート，HBase 用の宣言的コンフィギュレーションのサポート，FS Shell や DistCp といった Hadoop Tools の宣言的あるいはプログラム的サポートなども提供する。

さらに興味深いと思われるのは，このツールが Spring Integration や Spring Batch，あるいは従来型リレーショナルデータベースなど複数ソースから取得したデータに対して，解析ツールとして Hadoop を使用するための便利な手段を Spring ベースのアプリケーションに提供することだ。"例えば Hadoop ジョブを Spring Batch 環境内のタスクレットにすることができるので，起動を制御したり，ジョブ完了時にトリガを発行することが可能になります。" と，SpringSource CTO の Adrian Colyer 氏は InfoQ に語っている。
... 続きを読む

http://www.infoq.com/jp/news/2012/03/spring-hadoop

［Cloud ＆ BigData］「Hadoopは神のようなエンジニアを不要にした」——。米アマゾンが講演

11:14 MIC Associates

ITpro -
「10Gバイトのデータでもビッグデータだ。神のようなエンジニアを不要にするHadoopを使えばビッグデータ活用コストを下げられる」——。米アマゾン・ウェブ・サービシズ（AWS）のJohn Rauser Principal Quantitative Engineerは2012年2月28日、聴衆にこう語りかけた。同氏はクラウドコンピューティングの専門展「Cloud Days Tokyo/スマートフォン＆タブレット/ビッグデータEXPO」で、「The Changing Economics of Data: A View From Inside Amazon」と題して、米アマゾンにおけるビッグデータ活用の実際を事例を交えながら講演した。 ... 続きを読む

http://itpro.nikkeibp.co.jp/article/NEWS/20120228/383521/

［第2回］Hadoopの生い立ち - 基礎から解説！企業を変えるHadoop

11:00 MIC Associates

ITpro -
ここに来てビッグデータの代名詞ともなったApache Hadoopですが、その生い立ちは意外に知られていない感があります。Apache Hadoopというソフトウエアが日本でこれほどメジャーになったのは2011年のこと。Apache Hadoopに早く取り組み始めたという方でも、その存在を知ったのは2008〜2009年頃でしょう。筆者はソフトウエアにも人間と同じように“年齢”があり、シニアになるほど安定し信頼性が増すと考えています。例えば、UnixやLinuxなどのオペレーティングシステムや、リレーショナルデータベース（RDB）、TPモニター、Javaのミドルウエアなどは誕生してから10年以上が経過し、企業システムで利用され続けるなかで、品質・機能とも大幅に向上しました。これらのソフトウエアは成長期を終え安定期にあるでしょう。 ... 続きを読む

http://itpro.nikkeibp.co.jp/article/COLUMN/20120215/381721/

ビッグデータの直面する課題――Hadoopの抱える制限とは

12:52 MIC Associates

Computerworld -
ビッグデータをめぐり成長著しいテクノロジー業界では、多様なアプリケーションが次々と登場し、大きな賑わいを見せている。その一方で、依然として解決しない課題に直面する発展分野もまだ残されている。マサチューセッツ州ケンブリッジにある米国Microsoftの研究施設で2月15日に開催されたイベントで浮き彫りとなった。
ビッグデータをめぐり成長著しいテクノロジー業界では、多様なアプリケーションが次々と登場し、大きな賑わいを見せている。その一方で、依然として解決しない課題に直面する発展分野もまだ残されている。マサチューセッツ州ケンブリッジにある米国Microsoftの研究施設で2月15日に開催されたイベントで浮き彫りとなった。
... 続きを読む

http://www.computerworld.jp/topics/617/%E3%83%93%E3%82%B8%E3%83%8D%E3%82%B9%E3%83%BB%E3%82%A4%E3%83%B3%E3%83%86%E3%83%AA%E3%82%B8%E3%82%A7%E3%83%B3%E3%82%B9/201725/%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E7%9B%B4%E9%9D%A2%E3%81%99%E3%82%8B%E8%AA%B2%E9%A1%8C%E2%80%95%E2%80%95Hadoop%E3%81%AE%E6%8A%B1%E3%81%88%E3%82%8B%E5%88%B6%E9%99%90%E3%81%A8%E3%81%AF

What's the big deal about Hadoop?

11:13 MIC Associates

COMPUTERWORLD -
Hadoop is all the rage, it seems. With more than 150 enterprises of various sizes using it -- including major companies such as JP Morgan Chase, Google and Yahoo -- it may seem inevitable that the open-source Big Data management system will land in your shop, too.

But before rushing in, make sure you know what you're signing up for. Using Hadoop requires training and a level of analytics expertise that not all companies have quite yet, customers and industry analysts say. And it's still a very young market; a number of Hadoop vendors are duking it out with various implementations, including cloud-based. ... 続きを読む

http://www.computerworld.com/s/article/9224180/What_s_the_big_deal_about_Hadoop_

ノーチラス、Hadoopディストリビューションの商用サポートを開始

17:21 MIC Associates

ITpro -
ノーチラス・テクノロジーズは2011年12月13日、同社が開発する「Hadoop」向けのアプリケーションフレームワーク「Asakusa Framework」の顧客に対して、Hadoopの商用サポートを提供するというサービス「Asakusaサポート・プラス」を開始した。ディストリビューションには、米クラウデラの「Cloudera’s Distribution including Apache Hadoop（CDH）」を使用する。 ... 続きを読む

http://itpro.nikkeibp.co.jp/article/NEWS/20111213/376455/

さっそく500万ドル調達! 新たに誕生したHadoopスタートアップへの高い期待

11:30 MIC Associates

EnterpriseZine -
「1月は行く、2月は逃げる、3月は去る」とはよく申したもので、気がつけば2月もなかば。まだまださむい日が続いておりますが、少しずつ春が近づいている気配も感じます。季節の変わり目ですので、読者の皆様も体調管理には十分ご注意を。ちなみにワタクシ、ふだんの不摂生がたたり、もう2週間以上風邪っぴきの状態が続いております。トシを取ると風邪も治りにくくなるんですねー(哀)

今週のデータベース業界は、国内外ともそれほど大きなトピックがなく、わりと穏やか(?)な1週間でした。というわけで、個人的に気になった小ネタをご紹介していきます。

日本PostgreSQLユーザ会がDBSJ業績賞に
MySQLと並ぶオープンソースのデータベースとして、国内で高い普及率を誇るPostgreSQL。他国と比べて日本でこれほど広く PostgreSQLが使われるようになった理由のひとつに、早くからユーザ会が設立され、活発な啓蒙活動が行われてきたことが挙げられます。 ... 続きを読む

http://enterprisezine.jp/article/detail/3778

ビッグデータ活用のための分析基盤が分かる3つのホワイトペーパー

11:45 MIC Associates

TechTargetジャパン -
TwitterやFacebookなどのソーシャルネットワーキングサービス（SNS）に、1日当たり数Tバイトといった莫大な単位で蓄積されるマルチメディアデータ。それだけでなくRFIDなどの各種センサーデータやモバイル機器が生成するデータ、POSデータやeコマースサイトのデータなど、大量かつ多様な「ビッグデータ」が注目を集めている。　それら通常のデータベース管理システム（DBMS）では取り扱うことが難しいとされているビッグデータを分析・活用し、ビジネスに生かそうという企業の取り組みが見られるようになってきた。そこで、TechTargetジャパンのホワイトペーパーダウンロードセンターに登録されているホワイトペーパーの中から、ビッグデータの分析基盤構築を考える企業に役立つと思われるホワイトペーパーを幾つか紹介したい。... 続きを読む

http://techtarget.itmedia.co.jp/tt/news/1202/13/news03.html

並列分散処理の常識をHadoopファミリから学ぶ (1/3)

10:50 MIC Associates

＠IT -
Hadoopが押し上げた「BigDataビジネス」
「複数のマシンに大量データ処理を分散して飛躍的に性能を向上する」といわれるJava言語のフレームワーク「Apache Hadoop」。ご存じの方も多いことでしょう。

Welcome to Apache Hadoop! via kwout
「情報大爆発」というフレーズがIDCレポートで登場したのは2007年でしたが、これを「BigDataビジネス」へと発展させたのは、おなじみのJava言語でテラバイト級のデータを処理できる「Hadoop」が、大きな役割を担っているのではないでしょうか。... 続きを読む

http://www.atmarkit.co.jp/fjava/rensai4/bigdata_java02/01.html

国会図書館が公開した新検索システム、その内部に迫る

9:11 MIC Associates

PC online -
国内の出版物を網羅的に収集・保存している国立国会図書館。2012年1月6日に、新検索システム「国立国会図書館サーチ（NDL Search）」を正式公開した。同館をはじめ、全国の公共図書館や研究所、美術館などが所蔵する資料を検索できるものだ。グーグルが検索エンジン用に開発したシステムを基に作られた「Hadoop」などオープンソースのソフトを積極的に採用している、同一の著作をまとめて表示する機能を持つ、など複数の特徴を持つ。
このシステムを担当する、同館電子情報部長の中山正樹氏、非常勤調査員である同志社大学社会学部教育文化学科の原田隆史准教授に、NDL Searchの狙いや技術について聞いた。
... 続きを読む

http://pc.nikkeibp.co.jp/article/interview/20120112/1040298/

リクルート，ホットペッパーの分析にHadoop活用 - 事例データベース

9:08 MIC Associates

ITpro -
リクルート（東京都千代田区）は2012年4月から、オープンソースの分散処理ソフトである「Hadoop（ハドゥープ）」の利用を本格化する。すでに飲食店などを紹介する「ホットペッパー」では履歴データの分析にHadoopを活用し、処理速度が大幅に向上。メルマガに記載したお店のお薦め情報のクリック率も1.6倍に高まった。
「これからは数億円単位で売り上げ増やコスト削減に寄与する事例を積み上げていく」。リクルートの米谷修MIT Unitedプロジェクト推進部システム基盤推進室エグゼクティブマネジャーはHadoopの導入について、こう意気込む。リクルートは3年ほど前から、 Hadoopの調査・研究を開始。試験導入で十分な成果が得られたため、本格利用に踏み切ることを決めた。 ... 続きを読む

http://itpro.nikkeibp.co.jp/article/JIREI/20120125/379353/

Hadoop技術解説　注目の背景にはクラウドの普及

16:18 MIC Associates

TechTargetジャパン -
オープンソースの「Hadoop」は、多数のサーバを使った“ビッグデータ”アプリケーションの分散データ処理を可能にする。この技術は、クラウドでの分散並列処理によって冗長性と強力なアプリケーションパフォーマンスを実現し、障害を防止するという考え方に基づいている。
HadoopはApache Software Foundationのオープンソースプロジェクトの1つであり、米Google、米Yahoo!、米AOL、米Facebookといった企業のニーズから生まれた。こうした企業は、分散されたサーバ上の膨大なデータセットへのアクセスを日々サポートする必要がある。
しかし、2つの要因から、Hadoopは多くの企業で必要かつ利用可能なものになっている。その1つは、非常に大規模なデータセットを使用するアプリケーションが増えていること。もう1つは、搭載プロセッサ数が合計数百あるいは数千個に上る分散サーバをほぼ無尽蔵のストレージとともに提供するクラウドが利用できるようになってきたことだ。... 続きを読む

http://techtarget.itmedia.co.jp/tt/news/1202/01/news05.html