不純な動機で分散処理を試す

HandBrake で動画のエンコードをしていたが、待ち時間が長い。分散処理は可能か調査を行ってみることにする。

• 可能なかぎりWindows環境で安易に実施したい
• HandBrake はオープンソース（OSS）で開発されており、Linux版もある
• HandBrake はCLI と GUI を備える
• ハードウェアの信頼性を高める分散（HAクラスタ）ではい

分散処理の種類を以下に記す。

PVM

• 科学技術などのために利用される分散処理ネットワーク。
• 対応するプログラミングが必要。

Windows クラスタ

• サーバー向けOSのみ。

MOSIX

• Mosixは商用。
• openMosixに分岐した。

openMosix

• 2008年1月に終了し、LinuxMPIプロジェクトに引き継がれた。
• openMosix の LiveCD が存在したらしいが見つからず。
• OpenMosixは、Linuxのプロセスをネットワーク経由でほかのクラスタノードに実行させる(migrationと呼びます)仕組みです。動的な負荷分散を自動的に行ってくれるので、複数のPCをあたかも一台のコンピュータとして利用し、最大限に性能を引き出すことができます。（「OpenMosix – ClusterBuild」より引用）

PelikanHPC

※別記事→pc.casey.jp » 分散処理 PelikanHPC の基本？

• LiveCD(Knoppix) で手軽に起動できる。
• 更新されているようだが利用方法などの文献が少ない。
• メモリ搭載量が少ない（256M）とログインできなかった。512MにしたところXを含めて動作した。
• 初期ユーザはuser、パスワードは起動中に設定する。
• ログイン後、pelican_setup と、  startx コマンドが利用可能と案内される。

ClusterKnoppix

• LiveCD(Knoppix) で手軽に起動できる。
• openMosixが組み込まれたkernel。
• 2004年頃から更新されていない。
• 改良版として ParallelsKnoppix がある。

マスター側

1. 通常起動（Enter）
2. su でroot に昇格
3. tyd -f init でマスター起動

ドローン側

1. （IBMの記事を参考）

巫女 GNYO/Linux

• openMosixとSCoreを利用して簡単にPCクラスタが構築できる（Wikipediaより引用）
• ネットワークブートを利用した完全ディスクレス化（Wikipediaより引用）
• CDブート時の、USBメモリへの環境保存／復元機能（Wikipediaより引用）
• もともとCDブート用のディストリビューションだが、ハードディスクにインストールして使うことで、環境の保存とCD内に存在したファイルの読み込み速度向上が見込める（Wikipediaより引用）

その他

• Quantian
• CHAOS
• ParallelsKnoppix
• LinuxMPI
• OpenMPI

メモ

openMosix CDベースのディストリビューションとしては、Bootable Cluster CD (BCCD)、ParallelKnoppix、PlumpOS、QuantianそれにCHAOSなどがあります
（「ClusterKnoppixで負荷分散クラスターを作る」より引用）

ダウンロード

• Index of /mcreel/PelicanHPC/download
• :: ClusterKnoppix – Get it while it’s hot!
• MIKO GNYO/Linux

参考文献

• 分散処理用のフリ－ソフト – BIGLOBEなんでも相談室
• 小さいパワーを結集せよ！D510MOクラスタリングでハイパフォーマンスコンピューティング – ジグソープレミアムレビュー
• 巫女ぐにょ/MIKO GNYO/Linuxでのクラスタ化 – 巫女ブログ
• 情報実験機で ClusterKNOPPIX !!
• 普通のパソコンをスパコン並みに――ある高校生たちの挑戦 (1/2) – ITmedia エンタープライズ
• Ubuntu – Wikipedia
• 巫女 GNYO/Linux – Wikipedia
• MPI覚え書き(OpenMPI編) [Yasuaki Ito’s Home Page]
• :: ClusterKnoppix – Main
• Instant openMosix, the Fast Path to an openMosix Cluster.
• Beowulf – Wikipedia
• 事務所でIBM Xserver 346　2台が使われなくなったので この2台をHPC（※HAクラスタではない）で OSの実行処理を分散させvmwareでも走らせようと思います。 Beowulf、Mosix.. – 人力検索はてな
• グリッド・コンピューティング – Wikipedia
• PC連携ソリューションAD-POWERs
• Globus – Wikipedia
• Globus Toolkitとは – はてなキーワード
• lCuster Live CD – Knoppix Documentation Wiki
• PCクラスタが欲しかった。 – Yのはてな
• Microsoft MPI (Windows)
• HPC クラスター上での MPI アプリケーションのデバッグ
• Windows クラスタ :ネットワーク負荷分散 (NLB) およびクラスタ サービス
• MPICH2 on Windows Local
• openMOSIX: install
• ネットワーク分散エンコーダを知らないでしょうか？ – その他([技術者向] コンピューター) – 教えて！goo
• Parallel Knoppixは，空を飛ぶ夢を見るか？: Distro Freak
• Review：Knoppix 5.1.1：装いも新たに登場 – ITmedia エンタープライズ
• Leverage OSS：クラスタ用のライブCD、ParallelKnoppix入門 (2/2) – ITmedia エンタープライズ
• 独学Linux:GUIを備えたLinux版HandBrake
• MSCS導入の準備～サーバ・クラスタの基礎知識～ － ＠IT
• OpenMosix – ClusterBuild
• OpenMosixによる計算クラスタの構築
• http://mikilab.doshisha.ac.jp/dia/research/person/matsu/research/mosix/mosix.html
• ClusterKnoppixで負荷分散クラスターを作る
• Cluster Knoppix
• PelicanHPC: A GNU/Linux distribution to create a HPC cluster for MPI based parallel computing
• Quantian – Wikipedia, the free encyclopedia
• openMosix – Wikipedia, the free encyclopedia
• Parallel Knoppixは，空を飛ぶ夢を見るか？: Distro Freak
• Linux Daily Topics：2010年9月13日　LiveCDで手軽にHPCクラスタを構築できる「PelicanHPC 2.2」｜gihyo.jp … 技術評論社
• Index of /mcreel/PelicanHPC/download
• PelicanHPC Tutorial

同期はどうあれ勉強にはなった・・・力尽きた。結局のところ、クラスタ化に対応したアプリケーションが必要なのか、ソースファイルが入手できるならgcc等で対応させるコンパイルを実行すれば良いのか、カーネルレベルで実装されていて、どのようなアプリケーションでも実行可能なのかがわからなかった。ただ、基本的には難しい計算をするためのものでそれようにプログラミングされている、プログラミング可能な人向けのような気がする。当然だろうが。調べている間に非力なマシンでのエンコードが終わってしまいそうだ・・・。