Posted on by

分散ファイルシステム（DFS）メモ

※技術検証用にページを作成したのですが検証する対象が多かったため、一覧ページにしました。各技術については検証が終了次第掲載予定です。

スポンサードリンク

背景と目的

GFS(GoogleFileSystem)の素晴らしさに触発され、何か一つ分散ファイルシステムを体験してみようというコンセプト。　検査のためにコンピュータを用意するのは直観的だけれど、今回は何台か必要なので＆検証なのでVMを利用したい。

ところで、なぜDFSが必要なのだろうか。システム管理者はシステムとハードウェアを常に監視していなければならない。日々バックアップを取り、週末にはサーバを停止してディスクチェックを行い、遅れがちなクライアントのメンテナンスでハードウェアクラッシュがありその対応に追われる。

少なくともデータをネットワーク上（NAS）に配置しておけばこれらの恐怖感から解放されることになる。しかし、NASの重要性はますます高まり、壊れていないのに定期的に交換し、また特殊なハードウェアのため、検査に時間がかかったり検査ができなかったりする。こうして新しい恐怖に駆られることになる。

そこで、DFSの出番である。DFSは壊れないファイルシステムといえよう。各々のデータは細分化されそれぞれのサーバに分散される。ここまではRAIDと同じような印象である。しかし、DFSはスケーラブルであり、どのような環境のシステムでも直ちに参加でき、あるいは分離できることが特徴的である。さらに、障害が発生した場合には自動的にそれを除外して処理を続行する。

GoogleはGoogleFileSystem(GFS)等による大規模なテストの結果として、１８００台のうち１６００台が故障しても耐えられるとしている。このテストは１８００台のサーバのうち、８０台の電源を引っこ抜いたとされている。

事前準備

前提条件として自前でサーバーを公開できるレベルがあるものとする。

参考資料

◆mixi

◆Gfarm

◆MogileFS

  • Six Apart – Tech Talk Blog: MogileFS::Client と MogileFS 内部でのファイルノード管理 :
    http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html
  • Six Apart – Tech Talk Blog: 分散ファイルシステム MogileFS について :
    http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html
  • Six Apart – Tech Talk Blog: MogileFS のインストールと初期設定 :
    http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html

◆cagra

◆Cleversafe

  • Cleversafeは好奇心を引くオープンソースプロジェクト – IT運用スペシャリストのためのブログ :
    http://d.hatena.ne.jp/kodeview/20061209/p1
  • Cleversafe、分散ストレージ ネットワークの商用化に着手 – japan.internet.com Webビジネス :
    http://japan.internet.com/busnews/20080219/12.html
  • 「ストレージ2.0」いよいよ発進 : オープンソース – Computerworld.jp :
    http://www.computerworld.jp/topics/osst/69049.html

◆LustreFS

◆OpenAFS

◆Hadoop

  • Hadoopのインストールとサンプルプログラムの実行：CodeZine :
    http://codezine.jp/a/article/aid/2485.aspx
  • 複数マシンへHadoopをインストールする：CodeZine :
    http://codezine.jp/a/article/aid/2699.aspx
  • Apache Hadoop のプロジェクト詳細 :
    http://projects.terra-intl.com/projects/hadoop.html
  • InfoQ: Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける :
    http://www.infoq.com/jp/news/2007/08/hadoop-momentum

◆GoogleFS（Googleが内部利用している→Hadoop）

oldId.20080707033613550

関連記事

スポンサードリンク

こちらの記事も読まれています

Published by admin