MSS Homepage
jp/ComputerManuals
をテンプレートにして作成
Start:
// mssonly
* 共通計算機の使用マニュアル [#v27ed8ef]
** [[IP addressの使用状況>jp/IPlist]] [#b0e4eec1]
** [[サーバー室の温度モニター:http://10.249.84.177]] [#p8...
** GWマシン anago [133.3.134.16] について [#d6b2adbe]
学外からMSS_Project_LAN[10.249.84.0/255.255.255.0]へanago...
- SSH
-- アカウントの追加はsuになり以下の通り。
/usr/sbin/useradd -m new_user
passwd new_user
-- パスワードの変更は各自のIDでログイン後に以下のようにす...
passwd
-- Linuxからの接続は以下のようにする。
ssh anago.cheme.kyoto-u.ac.jp
又は
ssh new_user@anago.cheme.kyoto-u.ac.jp
-- Windowsからの接続はコマンドプロンプトから以下のように...
ssh2 anago.cheme.kyoto-u.ac.jp
又は
ssh2 new_user@anago.cheme.kyoto-u.ac.jp
--外部からsshでanagoに入り,研究室のマシンにmagic packet...
wakeonlan ##:##:##:##:##:## <-起動すべきマシンのMAC...
** ホストマシン ebi [10.249.84.174] について(ファイルサー...
*** File System [#q95ecc89]
- ユーザーデータ
~''/home/user_name/'' ホームディレクトリ(4.3TB)
~''/home1/user_name/'' 大きなデータの保管領域(16.9TB)
~''/home2/user_name/'' 大きなデータの保管領域(3.3TB)
~''/home3/user_name/'' 大きなデータの保管領域(19.5TB)
-ディレクトリの使用量を調べるコマンド~
du -skm *|sort -nr
例えば、個人のディレクトリ使用量を調べるときは
du -sh /home/(username)
- アプリケーション
~''/opt/intel/'' インテルコンパイラ
~''/usr/sge/'' Sun Grid Engine
*** tako**, ika**へのジョブの投入 [#r4fd19d7]
-並列環境
~OpenMP, Cluster-OpenMP, MPIが使えます。
~ノード間並列する際は、コア数の指定はノードのコア数の倍数...
~並列環境オプション(-pe)はtakoでは openmp, cluster-openmp...
-キューの種類 (オプション -q で指定)
//~''tako1.q'' : 並列計算用。使用するノードはtako01--05。
//~''tako2.q'' : 並列計算用。ノードはtako06--09,0a。
~''tako3.q'' : シングル・並列計算共用(8コア)。ノードはt...
~''ika0.q'' : シングル・並列計算共用(4コア)。ノードはik...
~''ika1.q'' : シングル・並列計算共用(4コア)。ノードはik...
~''tuna0.q'' : シングル・並列計算共用(6コア)。ノードはt...
~''uni1.q'' : 並列計算専用(12コア)。ノードはuni00--06。
~''aji1.q'' : 並列計算専用(16コア)。ノードはaji00--05。
-スクリプトファイル (run.sh) の例
>tako1.qで8CPUのOpenMPの計算を投げる場合
((Cシェルだと "Warning: no access to tty (Bad file descri...
#!/bin/sh
#$ -S /bin/sh #シェルの指定
#$ -N username #ジョブ名の指定
#$ -cwd #カレントディレクトリでジョブ...
#$ -j y #標準出力と標準エラーを1つの...
#$ -q tako1.q #使用キューの指定
#$ -pe openmp 8 #並列環境と使用プロセス数の指定
#$ -v OMP_NUM_THREADS=8 # スレッド数の指定(環境変数...
# run
./a.out
>tako2.qで32CPUのMPIの計算を投げる場合
#!/bin/sh
#$ -S /bin/sh
#$ -N username
#$ -cwd
#$ -j y
#$ -q tako2.q
#$ -pe mpi-8 32
#
echo "=== START ==="
date
awk '{print $1;}' $PE_HOSTFILE > mpd.hosts #並列環...
mpdboot -n 4 -f mpd.hosts #各ホスト...
mpiexec -n 32 -env I_MPI_DEVICE sock ./a.out #MPI計算...
mpdallexit #mpdの終了
echo "=== END ==="
date
>tako3.qで24CPUのCluster-OpenMPの計算を投げる場合
((kmp_cluster.iniを作成する箇所を修正しました。by 村島))
#!/bin/sh
#$ -S /bin/sh #シェルの指定
#$ -N username #ジョブ名の指定
#$ -cwd #カレントディレクトリでジョ...
#$ -j y #標準出力と標準エラーを1...
#$ -q large.q #使用キューの指定
#$ -pe cluster-openmp-8 24 #並列環境と使用プロセス数...
# make initial file (kmp_cluster.ini)
echo -n "--hostlist=" > kmp_cluster.tmp
awk '{ printf $1",";}' $PE_HOSTFILE >> kmp_cluster.tmp
echo "--process_threads=8" >> kmp_cluster.tmp
sed 's/,--process_threads/ --process_threads/g' kmp_c...
rm kmp_cluster.tmp
# run
./a.out
-ジョブの投入と管理
~ジョブの投入は''ebi''から行います。Grid Engineの基本的な...
~''qsub'': ジョブの投入コマンド。例えば,スクリプトファイ...
qsub run.sh
~''qstat'': ジョブの状態を確認。(オプション -f でキュー毎...
~''qhost'': ノードの状態を確認。
*** 緊急にジョブを投入する必要がある場合 [#h55ef87d]
~qsubでジョブを投入してもなかなか自分のジョブが流れず、〆...
そのときは、tako_all.q または ika1_all.q を使用すれば、優...
○○さんのジョブが例えばtako01で動いていた場合(qstatで確認...
#$ -pe tako_all.q@tako01 #tako01は○○さんのジョブが流れ...
これを記述したスクリプトをqsubで実行すると、○○さんのジョ...
''注意'':tako_all.q, ika1_all.q は後から投入されたものを...
先に動いていたジョブも止まってしまいます。''tako_all.q を...
※''現在、tako_all.q, ika1_all.q はユーザの使用を制限して...
-tako_all.q, ika1_all.q の使用を許可する方法(rootのみ)~
root# qconf -au (username) deadlineusers
-tako_all.q, ika1_all.q の使用を解除する方法(rootのみ)
root# qconf -du (username) deadlineusers
-tako_all.qについての注意~
tako_all.qに関してですが、tako[1-3].qと同じ用に使うことが...
ただ明示的にホストを指定しない限りtakoのどのホストに入る...
でアンバランスが生じる可能性があります。例えば tako_all.q...
台を使いたい場合は -q "tako_all.q@tako1*" などとしてくだ...
使えます)。
またtako[1-3].qはtako_all.qの従属キューになっていますので...
使われると''重なったジョブはサスペンドされジョブは止まっ...
いわずもがなかとは思いますが、サスペンドされたジョブのメ...
ません。足りなくなった場合は一時的に(サスペンドされたジ...
れるとは思いますがパフォーマンスに影響が出ますのでご注意...
swapはメモリの2倍程度とっているはずですが、それでも足りな...
のプロセスがkillされますが、どちらのジョブになるのかはそ...
によります。
*** OpenMP並列のジョブを投入するときの注意点 [#y7f4f690]
qsub でOpenMP並列のジョブを投入すると、例えば
#$ -pe openmp 2
などとCPU数を指定したとしても、その数ではなく、デフォルト...
#$ -v OMP_NUM_THREADS=2
*** Intelコンパイラのバージョンアップメモ [#m8dddb11]
- C++ for Linux、Fortran for Linux、Cluster Tool Kit for ...
- /opt/intel/i*.*shを確認し、最新版に正しくリンクを張り直...
*** 新規ユーザーを追加する [#ja2caf25]
- ebiでスーパーユーザになり以下を実行。
# /usr/sbin/useradd -m USERNAME
# passwd USERNAME
# cd /var/yp; make
- パスワードの変更は、各自のアカウントでログイン後に以下...
yppasswd
*** NISの設定 [#y0e1a9e1]
- ebiはNISのプライマリサーバー
NISドメイン: jstcrestmss
NISサーバー(Primary): ebi: 10.249.84.174, 172.16.2....
NISサーバー(Secondary): tako: 10.249.84.173, 172.16...
*** NFSの設定 [#x0f6884e]
- ebi:/homeは10.249.84.0/255.255.255.0に対してNFSマウント...
- ebiとホームディレクトリを共有にしたければクライアントマ...
*** SAMBA [#hafc2aaa]
- Workgroup => HYMD
\\ebi\pub (public directory for 1koza members) guestア...
\\ebi\hymd (public directory for MSS members) guestア...
\\ebi\your_ID (your home directory) パスワード登録が必要
- ウインドウズマシンからebiの自分のhomeディレクトリを参照...
-- SWATによる設定 [http://10.249.84.174:901/]
-- SWAT->PASSWARD->ローカルマシンのパスワード管理->新規...
*** HDF5 [#k01bc3a0]
- ebi:/opt/hdf5.1.8にhdf5-1.8.4-patch 1 をインストール。
- /opt/hdf5.1.8/binにPATHを追加すれば、h5fcやh5ccでHDF5コ...
- h5fcやh5ccで実際に使われているコンパイラとフラッグは"h5...
- (注)c++用のスクリプト作成は成功しなかった。
End:
// mssonly
* 共通計算機の使用マニュアル [#v27ed8ef]
** [[IP addressの使用状況>jp/IPlist]] [#b0e4eec1]
** [[サーバー室の温度モニター:http://10.249.84.177]] [#p8...
** GWマシン anago [133.3.134.16] について [#d6b2adbe]
学外からMSS_Project_LAN[10.249.84.0/255.255.255.0]へanago...
- SSH
-- アカウントの追加はsuになり以下の通り。
/usr/sbin/useradd -m new_user
passwd new_user
-- パスワードの変更は各自のIDでログイン後に以下のようにす...
passwd
-- Linuxからの接続は以下のようにする。
ssh anago.cheme.kyoto-u.ac.jp
又は
ssh new_user@anago.cheme.kyoto-u.ac.jp
-- Windowsからの接続はコマンドプロンプトから以下のように...
ssh2 anago.cheme.kyoto-u.ac.jp
又は
ssh2 new_user@anago.cheme.kyoto-u.ac.jp
--外部からsshでanagoに入り,研究室のマシンにmagic packet...
wakeonlan ##:##:##:##:##:## <-起動すべきマシンのMAC...
** ホストマシン ebi [10.249.84.174] について(ファイルサー...
*** File System [#q95ecc89]
- ユーザーデータ
~''/home/user_name/'' ホームディレクトリ(4.3TB)
~''/home1/user_name/'' 大きなデータの保管領域(16.9TB)
~''/home2/user_name/'' 大きなデータの保管領域(3.3TB)
~''/home3/user_name/'' 大きなデータの保管領域(19.5TB)
-ディレクトリの使用量を調べるコマンド~
du -skm *|sort -nr
例えば、個人のディレクトリ使用量を調べるときは
du -sh /home/(username)
- アプリケーション
~''/opt/intel/'' インテルコンパイラ
~''/usr/sge/'' Sun Grid Engine
*** tako**, ika**へのジョブの投入 [#r4fd19d7]
-並列環境
~OpenMP, Cluster-OpenMP, MPIが使えます。
~ノード間並列する際は、コア数の指定はノードのコア数の倍数...
~並列環境オプション(-pe)はtakoでは openmp, cluster-openmp...
-キューの種類 (オプション -q で指定)
//~''tako1.q'' : 並列計算用。使用するノードはtako01--05。
//~''tako2.q'' : 並列計算用。ノードはtako06--09,0a。
~''tako3.q'' : シングル・並列計算共用(8コア)。ノードはt...
~''ika0.q'' : シングル・並列計算共用(4コア)。ノードはik...
~''ika1.q'' : シングル・並列計算共用(4コア)。ノードはik...
~''tuna0.q'' : シングル・並列計算共用(6コア)。ノードはt...
~''uni1.q'' : 並列計算専用(12コア)。ノードはuni00--06。
~''aji1.q'' : 並列計算専用(16コア)。ノードはaji00--05。
-スクリプトファイル (run.sh) の例
>tako1.qで8CPUのOpenMPの計算を投げる場合
((Cシェルだと "Warning: no access to tty (Bad file descri...
#!/bin/sh
#$ -S /bin/sh #シェルの指定
#$ -N username #ジョブ名の指定
#$ -cwd #カレントディレクトリでジョブ...
#$ -j y #標準出力と標準エラーを1つの...
#$ -q tako1.q #使用キューの指定
#$ -pe openmp 8 #並列環境と使用プロセス数の指定
#$ -v OMP_NUM_THREADS=8 # スレッド数の指定(環境変数...
# run
./a.out
>tako2.qで32CPUのMPIの計算を投げる場合
#!/bin/sh
#$ -S /bin/sh
#$ -N username
#$ -cwd
#$ -j y
#$ -q tako2.q
#$ -pe mpi-8 32
#
echo "=== START ==="
date
awk '{print $1;}' $PE_HOSTFILE > mpd.hosts #並列環...
mpdboot -n 4 -f mpd.hosts #各ホスト...
mpiexec -n 32 -env I_MPI_DEVICE sock ./a.out #MPI計算...
mpdallexit #mpdの終了
echo "=== END ==="
date
>tako3.qで24CPUのCluster-OpenMPの計算を投げる場合
((kmp_cluster.iniを作成する箇所を修正しました。by 村島))
#!/bin/sh
#$ -S /bin/sh #シェルの指定
#$ -N username #ジョブ名の指定
#$ -cwd #カレントディレクトリでジョ...
#$ -j y #標準出力と標準エラーを1...
#$ -q large.q #使用キューの指定
#$ -pe cluster-openmp-8 24 #並列環境と使用プロセス数...
# make initial file (kmp_cluster.ini)
echo -n "--hostlist=" > kmp_cluster.tmp
awk '{ printf $1",";}' $PE_HOSTFILE >> kmp_cluster.tmp
echo "--process_threads=8" >> kmp_cluster.tmp
sed 's/,--process_threads/ --process_threads/g' kmp_c...
rm kmp_cluster.tmp
# run
./a.out
-ジョブの投入と管理
~ジョブの投入は''ebi''から行います。Grid Engineの基本的な...
~''qsub'': ジョブの投入コマンド。例えば,スクリプトファイ...
qsub run.sh
~''qstat'': ジョブの状態を確認。(オプション -f でキュー毎...
~''qhost'': ノードの状態を確認。
*** 緊急にジョブを投入する必要がある場合 [#h55ef87d]
~qsubでジョブを投入してもなかなか自分のジョブが流れず、〆...
そのときは、tako_all.q または ika1_all.q を使用すれば、優...
○○さんのジョブが例えばtako01で動いていた場合(qstatで確認...
#$ -pe tako_all.q@tako01 #tako01は○○さんのジョブが流れ...
これを記述したスクリプトをqsubで実行すると、○○さんのジョ...
''注意'':tako_all.q, ika1_all.q は後から投入されたものを...
先に動いていたジョブも止まってしまいます。''tako_all.q を...
※''現在、tako_all.q, ika1_all.q はユーザの使用を制限して...
-tako_all.q, ika1_all.q の使用を許可する方法(rootのみ)~
root# qconf -au (username) deadlineusers
-tako_all.q, ika1_all.q の使用を解除する方法(rootのみ)
root# qconf -du (username) deadlineusers
-tako_all.qについての注意~
tako_all.qに関してですが、tako[1-3].qと同じ用に使うことが...
ただ明示的にホストを指定しない限りtakoのどのホストに入る...
でアンバランスが生じる可能性があります。例えば tako_all.q...
台を使いたい場合は -q "tako_all.q@tako1*" などとしてくだ...
使えます)。
またtako[1-3].qはtako_all.qの従属キューになっていますので...
使われると''重なったジョブはサスペンドされジョブは止まっ...
いわずもがなかとは思いますが、サスペンドされたジョブのメ...
ません。足りなくなった場合は一時的に(サスペンドされたジ...
れるとは思いますがパフォーマンスに影響が出ますのでご注意...
swapはメモリの2倍程度とっているはずですが、それでも足りな...
のプロセスがkillされますが、どちらのジョブになるのかはそ...
によります。
*** OpenMP並列のジョブを投入するときの注意点 [#y7f4f690]
qsub でOpenMP並列のジョブを投入すると、例えば
#$ -pe openmp 2
などとCPU数を指定したとしても、その数ではなく、デフォルト...
#$ -v OMP_NUM_THREADS=2
*** Intelコンパイラのバージョンアップメモ [#m8dddb11]
- C++ for Linux、Fortran for Linux、Cluster Tool Kit for ...
- /opt/intel/i*.*shを確認し、最新版に正しくリンクを張り直...
*** 新規ユーザーを追加する [#ja2caf25]
- ebiでスーパーユーザになり以下を実行。
# /usr/sbin/useradd -m USERNAME
# passwd USERNAME
# cd /var/yp; make
- パスワードの変更は、各自のアカウントでログイン後に以下...
yppasswd
*** NISの設定 [#y0e1a9e1]
- ebiはNISのプライマリサーバー
NISドメイン: jstcrestmss
NISサーバー(Primary): ebi: 10.249.84.174, 172.16.2....
NISサーバー(Secondary): tako: 10.249.84.173, 172.16...
*** NFSの設定 [#x0f6884e]
- ebi:/homeは10.249.84.0/255.255.255.0に対してNFSマウント...
- ebiとホームディレクトリを共有にしたければクライアントマ...
*** SAMBA [#hafc2aaa]
- Workgroup => HYMD
\\ebi\pub (public directory for 1koza members) guestア...
\\ebi\hymd (public directory for MSS members) guestア...
\\ebi\your_ID (your home directory) パスワード登録が必要
- ウインドウズマシンからebiの自分のhomeディレクトリを参照...
-- SWATによる設定 [http://10.249.84.174:901/]
-- SWAT->PASSWARD->ローカルマシンのパスワード管理->新規...
*** HDF5 [#k01bc3a0]
- ebi:/opt/hdf5.1.8にhdf5-1.8.4-patch 1 をインストール。
- /opt/hdf5.1.8/binにPATHを追加すれば、h5fcやh5ccでHDF5コ...
- h5fcやh5ccで実際に使われているコンパイラとフラッグは"h5...
- (注)c++用のスクリプト作成は成功しなかった。
Page: