分散ファイルシステム（DFS）メモ

※技術検証用にページを作成したのですが検証する対象が多かったため、一覧ページにしました。各技術については検証が終了次第掲載予定です。

背景と目的

GFS(GoogleFileSystem)の素晴らしさに触発され、何か一つ分散ファイルシステムを体験してみようというコンセプト。　検査のためにコンピュータを用意するのは直観的だけれど、今回は何台か必要なので＆検証なのでVMを利用したい。

ところで、なぜDFSが必要なのだろうか。システム管理者はシステムとハードウェアを常に監視していなければならない。日々バックアップを取り、週末にはサーバを停止してディスクチェックを行い、遅れがちなクライアントのメンテナンスでハードウェアクラッシュがありその対応に追われる。

少なくともデータをネットワーク上（NAS）に配置しておけばこれらの恐怖感から解放されることになる。しかし、NASの重要性はますます高まり、壊れていないのに定期的に交換し、また特殊なハードウェアのため、検査に時間がかかったり検査ができなかったりする。こうして新しい恐怖に駆られることになる。

そこで、DFSの出番である。DFSは壊れないファイルシステムといえよう。各々のデータは細分化されそれぞれのサーバに分散される。ここまではRAIDと同じような印象である。しかし、DFSはスケーラブルであり、どのような環境のシステムでも直ちに参加でき、あるいは分離できることが特徴的である。さらに、障害が発生した場合には自動的にそれを除外して処理を続行する。

GoogleはGoogleFileSystem(GFS)等による大規模なテストの結果として、１８００台のうち１６００台が故障しても耐えられるとしている。このテストは１８００台のサーバのうち、８０台の電源を引っこ抜いたとされている。

事前準備

前提条件として自前でサーバーを公開できるレベルがあるものとする。

参考資料

• asahi.com（朝日新聞社）：BIGLOBE、低コストストレージを活用した「PCバックアップサービス」 – e-ビジネス情報（提供：ＢＣＮ） – デジタル :
  
  どんなコンテンツをお探しですか？：朝日新聞デジタル

  どんなコンテンツをお探しですか？：朝日新聞デジタル

  

  www.asahi.com
• Roma、Fairyについてひとことふたこと – 古橋貞之の日記 :
  
  Roma、Fairyについてひとことふたこと - Blog by Sadayuki Furuhashi

  大規模分散処理向けの国産“ウェブOS”をRubyで開発中 - @ITより。これはマズイことになった。WikiFormeを作っている内に、VIVER構想の一部が先に実現されてしまいそうだ。 以下、私はこのカンファレンスに行ってもいませんし、とっても浅薄な頭で書いてますので、あまり信用してはいけません。 まずRomaについ...

  

  frsyuki.hatenablog.com
• 画像配信の負荷分散も比較的簡単？（その1） – 最速配信研究会 :
  
  2006-04-26

  最速配信研究会(@yamaz)

  

  yamaz.hatenablog.com
• 画像配信の負荷分散も比較的簡単？（その2） – 最速配信研究会 :
  
  2006-05-08

  最速配信研究会(@yamaz)

  

  yamaz.hatenablog.com
• 画像配信の負荷分散も比較的簡単？（その3） – 最速配信研究会 :
  
  2006-05-09

  最速配信研究会(@yamaz)

  

  yamaz.hatenablog.com
• 画像配信の負荷分散も比較的簡単？（その4） – 最速配信研究会 :
  
  2006-05-10

  最速配信研究会(@yamaz)

  

  yamaz.hatenablog.com
• 画像配信の負荷分散も比較的簡単？（その5） – 最速配信研究会 :
  
  2006-06-22

  最速配信研究会(@yamaz)

  

  yamaz.hatenablog.com
• 画像配信の負荷分散も比較的簡単？（その6） – 最速配信研究会 :
  
  2006-06-26

  最速配信研究会(@yamaz)

  

  yamaz.hatenablog.com

◆mixi

• ★関口秀之のJust Do IT★ > ★mixiを支えるシステムとは？★ : ITmedia オルタナティブ・ブログ :
  
  ★mixiを支えるシステムとは？★：★関口秀之のJust Do IT★：オルタナティブ・ブログ

  株式会社イーツリーズ・ジャパン社の「freeocean」 という 革新的なサーバ...

  

  blogs.itmedia.co.jp
• PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃 － TechTargetジャパン :
  
  PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃

  携帯電話向けのSNSサイトを運営するオープンドアは、システム基盤にPostgreSQLを採用。サービス別のDB分散とPostgreSQLの拡張ツールを活用したDBレプリケーションにより、効率的な負荷分散の仕組みを構築した。

  

  techtarget.itmedia.co.jp
• ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro :
  
  ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」

  　東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大な...

  

  xtech.nikkei.com
• mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン :
  
  mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法

  サービス開始から3年余りで会員数が1000万人を超えたSNSの「mixi」。そのシステムはOSSで構築されており、データベース管理システム（DBMS）には「MySQL」を使う。急増するトラフィックをさばくために負荷分散を重ねた結果、現在ではサーバ1000台以上が連なる超分散システムへ。その中でMySQLが果たす役割とは...

  

  techtarget.itmedia.co.jp

◆Gfarm

• Gfarm Documentation :
  
  http://datafarm.apgrid.org/document/

  

  datafarm.apgrid.org
• KEK:News＠KEK(大量のデータ処理手法で優勝) :
  
  301 Moved Permanently

  

  www.kek.jp
• ＮＴＴネオメイト｜コールセンタサービス :
  
  お探しのページは見つかりませんでした（Not Found）｜ＮＴＴネオメイト

  

  www.ntt-neo.com
• 分散ストレージについて再び(6) – 近況 :
  
  分散ストレージについて再び(6) - pekeqのブログ

  LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノード...

  

  pekeq.hatenablog.com

◆MogileFS

• Six Apart – Tech Talk Blog: MogileFS::Client と MogileFS 内部でのファイルノード管理 :
  
  301 Moved Permanently

  

  www.sixapart.jp
• Six Apart – Tech Talk Blog: 分散ファイルシステム MogileFS について :
  
  301 Moved Permanently

  

  www.sixapart.jp
• Six Apart – Tech Talk Blog: MogileFS のインストールと初期設定 :
  
  301 Moved Permanently

  

  www.sixapart.jp

◆cagra

• MOONGIFT: » C++製の分散ストレージシステム「cagra」:オープンソースを毎日紹介 :
  
  C++製の分散ストレージシステム·cagra

  cagraの使い方、日本語情報はMOONGIFTでチェック。オープンソースの分散化ファイルシステムで代表例というとMogileFSが挙げられると思う。HTTPでアクセスでき、簡単に信頼性の高い分散化ファイルシステムが構築できる。ただし、基本はPerlからの扱いになっており、Ruby向けのライブラリも存在するが全ての機能...

  

  www.moongift.jp
• P2P分散ストレージ「Cagra」 – 古橋貞之の日記 :
  
  P2P分散ストレージ「Cagra」 - Blog by Sadayuki Furuhashi

  id:nyaxt氏との共同開発の分散ストレージ「Cagra」（かぐら）のアルファ版をリリースしました。 cagra α3リリース cagra テクニカルデモ α２リリース 分散ストレージエンジンテクニカルデモ α版リリース cagraのα版試してみたよ - takumalog Cagraは以下のような特徴を持った（目指...

  

  frsyuki.hatenablog.com
• 2008-04-22 – nyaxtのPC作業ログ :
  
  2008-04-22

  nyaxtのPC作業ログ

  

◆Cleversafe

• Cleversafeは好奇心を引くオープンソースプロジェクト – IT運用スペシャリストのためのブログ :
  
  はてなブログ

  はてなブログは、無料でしっかり書けるブログサービスです。日々の生活から感じたこと、考えたことを書き残しましょう。

  

  hatenablog.com
• Cleversafe、分散ストレージ ネットワークの商用化に着手 – japan.internet.com Webビジネス :
  
  http://japan.internet.com/busnews/20080219/12.html

  

  japan.internet.com
• 「ストレージ2.0」いよいよ発進 : オープンソース – Computerworld.jp :
  
  http://www.computerworld.jp/topics/osst/69049.html

  

  www.computerworld.jp

◆LustreFS

• Lustreファイルシステムの概要 :
  
  404 Not Found

  

  mikilab.doshisha.ac.jp
• lustre – 詳解ファイルシステム – livedoor Wiki（ウィキ） :
  
  lustre - 詳解ファイルシステム

  FrontPage詳解Lustre詳解LustreLustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解 その他諸元(2006/03/28 現在)LustreとはLustreとは、Cluster File Systems, In...

  

  seesaawiki.jp
• Lustre File System – Overview :
  
  Oracle and Sun Microsystems | Strategic Acquisitions | Oracle

  Since Oracle acquired Sun in 2010, Oracle's hardware and software engineers have worked side-by-side to build fully integrated systems and optimized solutions.

  

  www.sun.com

◆OpenAFS

• 囲い込まれた分散データを支援するOpenAFS :
  
  IBM Developer Japan

  Build Smart. Build S…

  

  developer.ibm.com
• Gentoo Linux Documentation — Gentoo Linux OpenAFS Guide :
  
  301 Moved Permanently

  

  www.gentoo.org
• MOONGIFT: » 成熟した分散化ファイルシステム「OpenAFS」:オープンソースを毎日紹介 :
  
  成熟した分散化ファイルシステム·OpenAFS

  OpenAFSの使い方、日本語情報はMOONGIFTでチェック。企業内のファイルサーバというと、SambaやWindowsを使った中央集約的なファイルサーバがメインになっている。だが、扱うファイルの量が膨大になってきていること、その維持管理がわずかなサーバによって管理されている問題がある。そうした状況を受け、ファイルシ...

  

  www.moongift.jp

◆Hadoop

• Hadoopのインストールとサンプルプログラムの実行：CodeZine :
  
  301 Moved Permanently

  

  codezine.jp
• 複数マシンへHadoopをインストールする：CodeZine :
  
  301 Moved Permanently

  

  codezine.jp
• Apache Hadoop のプロジェクト詳細 :
  
  http://projects.terra-intl.com/projects/hadoop.html

  

  projects.terra-intl.com
• InfoQ: Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける :
  
  Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける

  この一年の間、GoogleライクなインフラストラクチャであるHadoopプロジェクトは、開発コミュニティによって広く知られるようになった。

  

  www.infoq.com

◆GoogleFS（Googleが内部利用している→Hadoop）

• Google Research Publication: The Google File System :
  
  Error 404 (Not Found)!!1

  

  labs.google.com
• MapReduce:Simplified Data Processing on Large Clusters :
  
  Error 404 (Not Found)!!1

  

  labs.google.com
• 徒然な忘備録。 :
  
  ぽっかり日誌

  ぽっかり日誌

  

  kaidnu2.hatenadiary.org
• グーグルデータセンターの内側–明らかにされた独自性 – page2 – builder by ZDNet Japan :
  
  グーグルデータセンターの内側--明らかにされた独自性 - builder by ZDNet Japan

  滅多に内情を公開することのないグーグルだが、「Google I/O」カンファレンスの講演で、同社のデータセンターの独自性が明らかになった。 - builder by ZDNet Japan

  

  builder.japan.zdnet.com
• Google spotlights data center inner workings | Tech news blog – CNET News.com :
  
  301 Moved Permanently

  

  news.cnet.com
• アリエル　エリア – ドキュメント-Google File System(GFS)技術メモ :
  
  原稿・資料 — ありえるえりあ

  

  dev.ariel-networks.com
• Perl Tips | Google File System (GFS) とは（GFS の論文） :
  
  Perl Tips | Google File System (GFS) とは（GFS の論文）

  

  perltips.twinkle.cc
• 巨大な検索システムを耐障害性の高いソフトと安価なマシンで実現 :
  
  巨大な検索システムを耐障害性の高いソフトと安価なマシンで実現

  

  internet.watch.impress.co.jp

oldId.20080707033613550