Lom

Version 12 (Andrey Golovin, 26.02.2016 22:16)

1 10 Andrey Golovin
{{TOC}}
2 10 Andrey Golovin
3 1 Andrey Golovin
h1. Ломоносов
4 1 Andrey Golovin
5 1 Andrey Golovin
* В корне есть директория *_scratch* запус программ надо делать в этой директории.
6 1 Andrey Golovin
* Интересные директории с предустановленными программам можно найти в */opt* Например:
7 1 Andrey Golovin
<pre>
8 1 Andrey Golovin
ls /opt
9 1 Andrey Golovin
baqus    Accelrys.old  ccoe  cuda-5.0  dislib    install  mellanox     molpro2010.1       mpi  nmon  octo     pathscale  pdde      pgi             software  toolworks  VRTSpbx  xcat
10 1 Andrey Golovin
Accelrys  acml5.3.0     cuda  dimonta   distribs  intel    modulefiles  molpro2010.1.orig  MS   nvc   old-opt  pdag       pdshared  pgi-backup.tgz  Symantec  VASP       wien2k
11 1 Andrey Golovin
</pre>
12 1 Andrey Golovin
<pre>
13 1 Andrey Golovin
ls /opt/software
14 1 Andrey Golovin
DL_POLY  FF8  FlowVision  ga-5-1  Gromacs  netCDF  OpenFOAM  openfoam-2.1  OpenFOAM-2.1  OpenFOAM-2.1.1-impi41  openfoam-2.2  OpenFOAM-2.2  TURBOMOLE  wrapper
15 1 Andrey Golovin
</pre>
16 1 Andrey Golovin
17 3 Andrey Golovin
h3. Сборка Gromacs:
18 1 Andrey Golovin
19 4 Andrey Golovin
** Надо зайти на <pre>ssh compiler</pre>
20 3 Andrey Golovin
** Задать параметры компилятора и mpi 
21 1 Andrey Golovin
<pre>
22 1 Andrey Golovin
└─> module load 
23 1 Andrey Golovin
dot                impi/4.0.3         mkl/4.0.2.146      module-info        null               openmpi/1.5.5-pgi  use.own            
24 1 Andrey Golovin
ekopath/4.0.11     impi/4.1.0-32bit   module-cvs         modules            openmpi/1.5.5-icc  pgi/12.9           
25 1 Andrey Golovin
26 1 Andrey Golovin
└─> module list 
27 1 Andrey Golovin
Currently Loaded Modulefiles:
28 1 Andrey Golovin
  1) impi/4.1.0          2) intel/13.1.0        3) cuda/5.0.35       
29 1 Andrey Golovin
</pre>
30 1 Andrey Golovin
** Скачать и распаковать Gromacs
31 1 Andrey Golovin
** Конфигурация и компиляция
32 2 Andrey Golovin
<pre>
33 2 Andrey Golovin
mkdir build 
34 3 Andrey Golovin
cd build
35 3 Andrey Golovin
cmake28 .. -DCMAKE_INSTALL_PREFIX=/home/users/golovin/progs/gmx-4.6.1-mpi -DGMX_X11=OFF -DGMX_MPI=OFF -DGMX_PREFER_STATIC_LIBS=ON -DBUILD_SHARED_LIBS=OFF -DGMX_DEFAULT_SUFFIX=OFF -GMX_BINARY_SUFFIX=_plu -DGMX_LIBS_SUFFIX=_plumed -DGMX_BUILD_OWN_FFTW=ON -DGMX_GPU=OFF
36 3 Andrey Golovin
make
37 3 Andrey Golovin
make install
38 3 Andrey Golovin
make clean
39 3 Andrey Golovin
cmake28 .. -DCMAKE_INSTALL_PREFIX=/home/users/golovin/progs/gmx-4.6.1-mpi -DGMX_X11=OFF -DGMX_MPI=ON -DGMX_PREFER_STATIC_LIBS=ON -DBUILD_SHARED_LIBS=OFF -DGMX_DEFAULT_SUFFIX=OFF -GMX_BINARY_SUFFIX=_plu -DGMX_LIBS_SUFFIX=_plumed -DGMX_BUILD_OWN_FFTW=ON -DGMX_GPU=ON
40 1 Andrey Golovin
make mdrun
41 1 Andrey Golovin
make install-mdrun
42 1 Andrey Golovin
</pre>
43 3 Andrey Golovin
** Надо выйти из среды compiler <pre>exit</pre>
44 3 Andrey Golovin
** Добавить исполняймы файлы в путь
45 3 Andrey Golovin
<pre> 
46 3 Andrey Golovin
export PATH=${PATH}:/home/users/golovin/progs/gmx-4.6.1-mpi
47 3 Andrey Golovin
</pre>
48 3 Andrey Golovin
** И тут нечто странное, надо скопировать <pre>cp -r ~/progs ~/_scratch</pre>
49 3 Andrey Golovin
50 3 Andrey Golovin
* Вот оно и должно работать
51 3 Andrey Golovin
<pre>
52 3 Andrey Golovin
sbatch -n 32 -e md.out -t 2400 impi /home/users/golovin/progs/gmx-4.6.3-impi-gpu/bin/mdrun_gpu -deffnm tro_md -cpi tro_md -noappend -v
53 3 Andrey Golovin
</pre>
54 3 Andrey Golovin
55 3 Andrey Golovin
56 8 Andrey Golovin
* Новое для сборки gromacs 5.0.4 c plumed gpu impi, основная новость, то что собрать c intel compiler не получится в принципе, собираем с gcc. Лучше всего, конечно использовать версии 4.7 и 4.8,  но не сегодня (27.2.15). Cmake установленый в системе стар как гумно мамонта, собрал свой в ~/progs/bin/cmake. Он неправильно определяет кой чего в системе, поэтому надо править CMakeCache.txt, отключаем HAVE__ALIGNED_MALLOC:INTERNAL= и _finite_compile_ok:INTERNAL= :
57 5 Andrey Golovin
<pre>
58 5 Andrey Golovin
1374c1423
59 5 Andrey Golovin
< HAVE__ALIGNED_MALLOC:INTERNAL=
60 5 Andrey Golovin
---
61 5 Andrey Golovin
> HAVE__ALIGNED_MALLOC:INTERNAL=1
62 5 Andrey Golovin
63 5 Andrey Golovin
1511,1513c1560,1562
64 5 Andrey Golovin
< _finite_compile_ok:INTERNAL=
65 5 Andrey Golovin
< //Result of isfinite check
66 5 Andrey Golovin
< isfinite_compile_ok:INTERNAL=
67 5 Andrey Golovin
---
68 5 Andrey Golovin
> _finite_compile_ok:INTERNAL=1
69 5 Andrey Golovin
> //Result of _isfinite check
70 1 Andrey Golovin
> _isfinite_compile_ok:INTERNAL=1
71 6 Andrey Golovin
72 6 Andrey Golovin
┌─[golovin @ compiler-1 ~/distr/gromacs-5.0.4/build ] 
73 6 Andrey Golovin
└─> module list 
74 6 Andrey Golovin
Currently Loaded Modulefiles:
75 6 Andrey Golovin
  1) slurm/2.5.6      2) impi/5.0.1-ofa   3) cuda/6.5.14
76 6 Andrey Golovin
77 6 Andrey Golovin
78 5 Andrey Golovin
</pre>
79 5 Andrey Golovin
80 3 Andrey Golovin
h3. Сборка СPMD
81 3 Andrey Golovin
82 3 Andrey Golovin
** Важный кусок Makefile
83 3 Andrey Golovin
84 3 Andrey Golovin
<pre>
85 3 Andrey Golovin
SRC  = .
86 3 Andrey Golovin
DEST = .
87 3 Andrey Golovin
BIN  = .
88 3 Andrey Golovin
FFLAGS = -i-static -O2  
89 3 Andrey Golovin
LFLAGS = -L/opt/intel/mkl/lib/intel64  -Wl,--start-group \
90 3 Andrey Golovin
             -lmkl_intel_lp64 -lmkl_intel_thread -lmkl_core -Wl,--end-group \
91 3 Andrey Golovin
             -lm -lpthread  -liomp5
92 3 Andrey Golovin
CFLAGS = -D__alpha
93 3 Andrey Golovin
CPP = /lib/cpp -P -C -traditional
94 3 Andrey Golovin
CPPFLAGS = -D__alpha -DPOINTER8 -DFFT_DEFAULT -DALPHALINUX -D__HPC \
95 3 Andrey Golovin
         -DMYRINET -DPARALLEL=parallel -DLINUX_IA64_INTEL -DINTEL_MKL  
96 3 Andrey Golovin
NOOPT_FLAG = 
97 3 Andrey Golovin
CC = mpicc -c -O
98 3 Andrey Golovin
FC = mpif90 -c
99 3 Andrey Golovin
LD = mpif90
100 3 Andrey Golovin
AR = /usr/bin/ar -r
101 3 Andrey Golovin
</pre>
102 3 Andrey Golovin
103 9 Andrey Golovin
104 9 Andrey Golovin
h3. Сборка Gromacs+libMOPA2012+Plumed  и запуск 
105 10 Andrey Golovin
106 9 Andrey Golovin
Итак сборка:
107 9 Andrey Golovin
<pre>
108 9 Andrey Golovin
Currently Loaded Modulefiles:
109 9 Andrey Golovin
  1) slurm/2.5.6         2) intel/15.0.090      3) mkl/11.2.0          4) openmpi/1.8.4-ic
110 9 Andrey Golovin
</pre>
111 9 Andrey Golovin
MPI нам нужен для массового multidir
112 9 Andrey Golovin
113 9 Andrey Golovin
Вероятно придется собрать MPI Plumed:
114 9 Andrey Golovin
<pre>
115 9 Andrey Golovin
make clean
116 9 Andrey Golovin
./configure --enable-mpi --prefix=$HOME/progs && make && make install
117 9 Andrey Golovin
</pre>
118 9 Andrey Golovin
119 9 Andrey Golovin
Патчим Gromacs Артура:
120 9 Andrey Golovin
<pre>
121 9 Andrey Golovin
cd ~/distr/gromacs-5.0.4-mopac-new
122 9 Andrey Golovin
~/progs/bin/plumed patch -r
123 9 Andrey Golovin
~/progs/bin/plumed patch -p
124 9 Andrey Golovin
</pre>
125 9 Andrey Golovin
126 9 Andrey Golovin
Собираем :
127 9 Andrey Golovin
<pre>
128 9 Andrey Golovin
mkdir build-mpi && cd build-mpi
129 9 Andrey Golovin
rm -rf *
130 11 Andrey Golovin
### это интуиция + grep ####
131 11 Andrey Golovin
export MOPAC_LIBRARY=/mnt/data/users/dm3/vol5/golovin/progs/mopac_static.a
132 9 Andrey Golovin
cmake  .. -DGMX_QMMM_PROGRAM=MOPAC2012 -DGMX_MPI=ON -DGMX_DOUBLE=yes -DBUILD_SHARED_LIBS=OFF  -DGMX_BUILD_MDRUN_ONLY=ON -DGMX_BUILD_OWN_FFTW=ON
133 9 Andrey Golovin
make  -j8
134 9 Andrey Golovin
cp bin/mdrun_mpi_d ~/_scratch/progs/bin/mdrun_504_plumed_mopac_mpi_icc
135 9 Andrey Golovin
</pre>
136 9 Andrey Golovin
137 9 Andrey Golovin
Используем:
138 9 Andrey Golovin
<pre>
139 9 Andrey Golovin
└─> module list 
140 9 Andrey Golovin
Currently Loaded Modulefiles:
141 9 Andrey Golovin
  1) slurm/2.5.6         2) mkl/11.2.0          3) openmpi/1.8.4-icc   4) intel/15.0.090
142 9 Andrey Golovin
143 9 Andrey Golovin
parallel --gnu "cd {1};ln -s ../meta.dat; ln -s ../2_meta_amd.tpr meta_amd.tpr" ::: {1..64}
144 9 Andrey Golovin
sbatch -t 800 -N8 --ntasks-per-node=8 ompi /home/users/golovin/progs/bin/mdrun_504_plumed_mopac_mpi_icc -deffnm meta_amd -plumed meta.dat -v  -multidir {1..64}
145 9 Andrey Golovin
</pre>
146 9 Andrey Golovin
147 9 Andrey Golovin
Обратите внимание на COLVAR.0 ... COLVAR.64
148 9 Andrey Golovin
149 12 Andrey Golovin
и реально полезная ссылка про извращения со слурмом (Futurama(c))
150 12 Andrey Golovin
151 12 Andrey Golovin
http://www.nersc.gov/users/computational-systems/cori/running-jobs/example-batch-scripts/
152 12 Andrey Golovin
153 3 Andrey Golovin
h3. Мои практикумы и лекции:
154 3 Andrey Golovin
155 3 Andrey Golovin
* Курсы
156 3 Andrey Golovin
http://vsb.fbb.msu.ru/redmine/projects/edu/wiki
157 3 Andrey Golovin
158 3 Andrey Golovin
* Практикум для ФББ
159 3 Andrey Golovin
https://kodomo.fbb.msu.ru/wiki/2010/6/Modelling