PR

不純な動機で分散処理を試す

2010.12.28

HandBrake で動画のエンコードをしていたが、待ち時間が長い。分散処理は可能か調査を行ってみることにする。

  • 可能なかぎりWindows環境で安易に実施したい
  • HandBrake はオープンソース（OSS）で開発されており、Linux版もある
  • HandBrake はCLI と GUI を備える
  • ハードウェアの信頼性を高める分散（HAクラスタ）ではい

スポンサードリンク

分散処理の種類を以下に記す。

PVM

  • 科学技術などのために利用される分散処理ネットワーク。
  • 対応するプログラミングが必要。

Windows クラスタ

  • サーバー向けOSのみ。

MOSIX

  • Mosixは商用。
  • openMosixに分岐した。

openMosix

  • 2008年1月に終了し、LinuxMPIプロジェクトに引き継がれた。
  • openMosix の LiveCD が存在したらしいが見つからず。
  • OpenMosixは、Linuxのプロセスをネットワーク経由でほかのクラスタノードに実行させる(migrationと呼びます)仕組みです。動的な負荷分散を自動的に行ってくれるので、複数のPCをあたかも一台のコンピュータとして利用し、最大限に性能を引き出すことができます。（「OpenMosix – ClusterBuild」より引用）

PelikanHPC

※別記事→pc.casey.jp » 分散処理 PelikanHPC の基本？

  • LiveCD(Knoppix) で手軽に起動できる。
  • 更新されているようだが利用方法などの文献が少ない。
  • メモリ搭載量が少ない（256M）とログインできなかった。512MにしたところXを含めて動作した。
  • 初期ユーザはuser、パスワードは起動中に設定する。
  • ログイン後、pelican_setup と、  startx コマンドが利用可能と案内される。

ClusterKnoppix

  • LiveCD(Knoppix) で手軽に起動できる。
  • openMosixが組み込まれたkernel。
  • 2004年頃から更新されていない。
  • 改良版として ParallelsKnoppix がある。

マスター側

  1. 通常起動（Enter）
  2. su でroot に昇格
  3. tyd -f init でマスター起動

ドローン側

  1. （IBMの記事を参考）

巫女 GNYO/Linux

  • openMosixとSCoreを利用して簡単にPCクラスタが構築できる（Wikipediaより引用）
  • ネットワークブートを利用した完全ディスクレス化（Wikipediaより引用）
  • CDブート時の、USBメモリへの環境保存／復元機能（Wikipediaより引用）
  • もともとCDブート用のディストリビューションだが、ハードディスクにインストールして使うことで、環境の保存とCD内に存在したファイルの読み込み速度向上が見込める（Wikipediaより引用）

その他

  • Quantian
  • CHAOS
  • ParallelsKnoppix
  • LinuxMPI
  • OpenMPI

メモ

openMosix CDベースのディストリビューションとしては、Bootable Cluster CD (BCCD)、ParallelKnoppix、PlumpOS、QuantianそれにCHAOSなどがあります
（「ClusterKnoppixで負荷分散クラスターを作る」より引用）

ダウンロード

  • Index of /mcreel/PelicanHPC/download
  • :: ClusterKnoppix – Get it while it’s hot!
  • MIKO GNYO/Linux

参考文献

同期はどうあれ勉強にはなった・・・力尽きた。結局のところ、クラスタ化に対応したアプリケーションが必要なのか、ソースファイルが入手できるならgcc等で対応させるコンパイルを実行すれば良いのか、カーネルレベルで実装されていて、どのようなアプリケーションでも実行可能なのかがわからなかった。ただ、基本的には難しい計算をするためのものでそれようにプログラミングされている、プログラミング可能な人向けのような気がする。当然だろうが。調べている間に非力なマシンでのエンコードが終わってしまいそうだ・・・。

スポンサーリンク

コメント