分散ファイルシステム（DFS）メモ

※技術検証用にページを作成したのですが検証する対象が多かったため、一覧ページにしました。各技術については検証が終了次第掲載予定です。

スポンサードリンク

背景と目的
事前準備
参考資料
◆mixi
◆Gfarm
◆MogileFS
◆cagra
◆Cleversafe
◆LustreFS
◆OpenAFS
◆Hadoop
◆GoogleFS（Googleが内部利用している→Hadoop）

背景と目的

GFS(GoogleFileSystem)の素晴らしさに触発され、何か一つ分散ファイルシステムを体験してみようというコンセプト。　検査のためにコンピュータを用意するのは直観的だけれど、今回は何台か必要なので＆検証なのでVMを利用したい。

ところで、なぜDFSが必要なのだろうか。システム管理者はシステムとハードウェアを常に監視していなければならない。日々バックアップを取り、週末にはサーバを停止してディスクチェックを行い、遅れがちなクライアントのメンテナンスでハードウェアクラッシュがありその対応に追われる。

少なくともデータをネットワーク上（NAS）に配置しておけばこれらの恐怖感から解放されることになる。しかし、NASの重要性はますます高まり、壊れていないのに定期的に交換し、また特殊なハードウェアのため、検査に時間がかかったり検査ができなかったりする。こうして新しい恐怖に駆られることになる。

そこで、DFSの出番である。DFSは壊れないファイルシステムといえよう。各々のデータは細分化されそれぞれのサーバに分散される。ここまではRAIDと同じような印象である。しかし、DFSはスケーラブルであり、どのような環境のシステムでも直ちに参加でき、あるいは分離できることが特徴的である。さらに、障害が発生した場合には自動的にそれを除外して処理を続行する。

GoogleはGoogleFileSystem(GFS)等による大規模なテストの結果として、１８００台のうち１６００台が故障しても耐えられるとしている。このテストは１８００台のサーバのうち、８０台の電源を引っこ抜いたとされている。

事前準備

前提条件として自前でサーバーを公開できるレベルがあるものとする。

参考資料

asahi.com（朝日新聞社）：BIGLOBE、低コストストレージを活用した「PCバックアップサービス」 – e-ビジネス情報（提供：ＢＣＮ） – デジタル :
どんなコンテンツをお探しですか？：朝日新聞デジタル
どんなコンテンツをお探しですか？：朝日新聞デジタル
www.asahi.com
Roma、Fairyについてひとことふたこと – 古橋貞之の日記 :
Roma、Fairyについてひとことふたこと - Blog by Sadayuki Furuhashi
大規模分散処理向けの国産“ウェブOS”をRubyで開発中 - @ITより。これはマズイことになった。WikiFormeを作っている内に、VIVER構想の一部が先に実現されてしまいそうだ。以下、私はこのカンファレンスに行ってもいませんし、とっても浅薄な頭で書いてますので、あまり信用してはいけません。まずRomaについ...
frsyuki.hatenablog.com
画像配信の負荷分散も比較的簡単？（その1） – 最速配信研究会 :
2006-04-26
最速配信研究会(@yamaz)
yamaz.hatenablog.com
画像配信の負荷分散も比較的簡単？（その2） – 最速配信研究会 :
2006-05-08
最速配信研究会(@yamaz)
yamaz.hatenablog.com
画像配信の負荷分散も比較的簡単？（その3） – 最速配信研究会 :
2006-05-09
最速配信研究会(@yamaz)
yamaz.hatenablog.com
画像配信の負荷分散も比較的簡単？（その4） – 最速配信研究会 :
2006-05-10
最速配信研究会(@yamaz)
yamaz.hatenablog.com
画像配信の負荷分散も比較的簡単？（その5） – 最速配信研究会 :
2006-06-22
最速配信研究会(@yamaz)
yamaz.hatenablog.com
画像配信の負荷分散も比較的簡単？（その6） – 最速配信研究会 :
2006-06-26
最速配信研究会(@yamaz)
yamaz.hatenablog.com

◆mixi

★関口秀之のJust Do IT★ > ★mixiを支えるシステムとは？★ : ITmedia オルタナティブ・ブログ :
★mixiを支えるシステムとは？★：★関口秀之のJust Do IT★：オルタナティブ・ブログ
株式会社イーツリーズ・ジャパン社の「freeocean」という革新的なサーバ...
blogs.itmedia.co.jp
PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃－ TechTargetジャパン :
PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃
携帯電話向けのSNSサイトを運営するオープンドアは、システム基盤にPostgreSQLを採用。サービス別のDB分散とPostgreSQLの拡張ツールを活用したDBレプリケーションにより、効率的な負荷分散の仕組みを構築した。
techtarget.itmedia.co.jp
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro :
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」
　東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大な...
tech.nikkeibp.co.jp
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法－ TechTargetジャパン :
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法
サービス開始から3年余りで会員数が1000万人を超えたSNSの「mixi」。そのシステムはOSSで構築されており、データベース管理システム（DBMS）には「MySQL」を使う。急増するトラフィックをさばくために負荷分散を重ねた結果、現在ではサーバ1000台以上が連なる超分散システムへ。その中でMySQLが果たす役割とは...
techtarget.itmedia.co.jp

◆Gfarm

Gfarm Documentation :
Page not found - datafarm
datafarm.apgrid.org
KEK:News＠KEK(大量のデータ処理手法で優勝) :
301 Moved Permanently
www.kek.jp
ＮＴＴネオメイト｜コールセンタサービス :
お探しのページは見つかりませんでした（Not Found）｜ＮＴＴネオメイト
www.ntt-neo.com
分散ストレージについて再び(6) – 近況 :
分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。メタデータサーバとストレージノード...
pekeq.hatenablog.com

◆MogileFS

Six Apart – Tech Talk Blog: MogileFS::Client と MogileFS 内部でのファイルノード管理 :
301 Moved Permanently
www.sixapart.jp
Six Apart – Tech Talk Blog: 分散ファイルシステム MogileFS について :
301 Moved Permanently
www.sixapart.jp
Six Apart – Tech Talk Blog: MogileFS のインストールと初期設定 :
301 Moved Permanently
www.sixapart.jp