Takashi MATSUI, School of Science, Kitasato University._博狗体育在线

備忘録 (Installation Memo)

あくまでも個人的なインストールメモのため、すべての環境に適応可能ではありません。参考にされても構いませんが、エラー時の対応などはできませんのでご理解ください。

ubuntu 22.04 LTSでNvidia RTX 4060Tiのドライバインストール

Ubuntu 22.04をインストールする際に、Third-party Driverも一緒にインストールすると、cuda-535 がインストールされる。
なので、cuda-12.2だけをインストールすれば良い。

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
$ sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb
$ sudo cp /var/cuda-repo-ubuntu2204-12-2-local/cuda-216F19BD-keyring.gpg /usr/share/keyrings/
$ sudo apt-get update
$ sudo apt-get -y install cuda

Nvidia RTX2060 Super ドライバ (ver 535), CUDA-11.8のインストール

Nvidiaドライバの対応の確認 (次のURLを参考にした。参考1)

$ ubuntu-drivers devices

535

利用可能な最も高いバージョンである535を選択する

$ sudo apt install nvidia-driver-535

インストール後に再起動し、nvidia-smi を起動してstatusを確認できればOK

CUDAのインストール

$ cd ~/Downloads
$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
$ sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-ubuntu2204-11-8-local_11.8.0-520.61.05-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu2204-11-8-local_11.8.0-520.61.05-1_amd64.deb
$ sudo cp /var/cuda-repo-ubuntu2204-11-8-local/cuda-D95DBBE2-keyring.gpg /usr/share/keyrings/
$ sudo apt-get update
$ sudo apt-get -y install cuda-11.8

PATHを通す

$ vi ~/.bash_aliases

export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"

CUDAのインストールの確認

$ nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0

RELION 4.0.1のインストール (GPU-acceleration)

次のURLを参考にインストールしました (参考2)

$ sudo apt install cmake git build-essential mpi-default-bin mpi-default-dev libx11-dev libfftw3-dev libtiff-dev libpng-dev libfltk1.3-dev evince xdvik-ja texlive-fonts-extra texlive-fonts-recommended texlive-lang-cjk xdvik-ja python2 python-tk pbzip2
$ sudo mkdir -p /apps/src && cd $_
$ sudo git clone https://github.com/3dem/relion
$ sudo git checkout ver4.0

Branch 'ver4.0' set up to track remote branch 'ver4.0' from 'origin'.
Switched to a new branch 'ver4.0'

$ su - (rootになったほうが何かと便利なので...)
# mkdir -p /apps/src/relion/build
# cd /apps/src/relion/build/
# cmake .. -DCMAKE_INSTALL_PREFIX=/apps/relion-4.0-1 -DCUDA_ARCH=75 -DCUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda-12.2
(2060 Superの場合, DCUDA_ARCH=75となる, この数字はCuda compatibilityの数値。8.9なら89となる。)
# make -j 12 (core数12のため)
# make install

.bashrcの設定

$ vi ~/.bash_aliases

export PATH="/apps/relion-4.0-1/bin:$PATH"

Xserverの停止

$ sudo systemctl stop lightdm

sshのインストール

$ sudo apt-get install openssh-server
$ sudo vi /etc/ssh/sshd_config

28行目の以下の内容を修正
PermitRootLogin no

$ sudo systemctl restart ssh

cryolo 1.9.7のインストール

crYOLOのサイトを参照にインストールしました (参照1)

$ sudo su -
rootでログイン

conda環境を構築

# git clone https://github.com/yyuu/pyenv.git /apps/pyenv
# export PYENV_ROOT=/apps/pyenv
# export PATH=$PYENV_ROOT/bin:$PATH
# pyenv install anaconda3-2023.09-0
# pyenv global anaconda3-2023.09-0
# conda update conda -y
# conda config --add channels conda-forge
# conda config --get channels
# conda config --remove channels defaults
# conda config --get channels

cryolo環境の構築

$ conda env remove --name cryolo (過去の環境を削除)
$ conda create -n cryolo -c conda-forge -c anaconda pyqt=5 python=3 numpy==1.18.5 libtiff wxPython=4.1.1 adwaita-icon-theme 'setuptools<66'
(/apps/pyenv/versions/anaconda3-2023.3/envsへの書き込み権限が必要)
$ source activate cryolo
$ pip install nvidia-pyindex
$ pip install 'cryolo[c11]'

napari 0.4.17とboxmanager plug-inのインストール

crYOLOのサイトを参照にインストールしました (参照1)

$ conda env remove --name napari-cryolo (過去の環境を削除)
$ conda create -y -n napari-cryolo -c conda-forge python=3.10 napari=0.4.17 pyqt pip
$ conda activate napari-cryolo
$ pip install napari-boxmanager
$ conda deactivate
$ conda activate cryolo
$ cryolo_dir=$(realpath $(dirname $(which cryolo_predict.py)))
$ napari_link_file=${cryolo_dir}/napari_boxmanager
(これがpermision errorになるので、 ${cryolo_dir}を~に読み替える)
$ conda activate napari-cryolo
$ echo -e "#\!/usr/bin/bash\nexport NAPARI_EXE=$(which napari)\napari_exe='$(which napari_boxmanager)'\n\${napari_exe} \"\${@}\""> ${napari_link_file}
$ cd ${cryolo_dir}
$ sudo chmod +x ${napari_link_file}
$ conda activate cryolo

Alphafold2とDockerのインストール

はじめに、Dockerをインストール (ここを参考にインストール)

$ sudo apt-get update
$ sudo apt-get install ca-certificates curl gnupg
$ sudo install -m 0755 -d /etc/apt/keyrings
$ sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
$ sudo chmod a+r /etc/apt/keyrings/docker.asc
$ echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo groupadd docker
sudo usermod -aG docker (dockerを使いたいユーザー名)
sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
docker --version
docker compose version
sudo docker run hello-world
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base nvidia-smi

これで、nvidia-smiでGPUのステータスが見れればOK

次に、AlphaFold2をインストール (詳細はここに記載されいる)

$ cd /apps
$ sudo git clone https://github.com/deepmind/alphafold.git
$ cd alphafold/scripts/
$ ./download_all_data.sh /mnt/data/alphafold_data/
$ sudo docker build -f docker/Dockerfile -t alphafold .
$ sudo pip3 install -r docker/requirements.txt

janni 0.04のインストール

$ conda env remove --name janni (過去の環境を削除)
$ conda create -p /usr/local/appli/anaconda3/envs/cryolo -c anaconda python=3.6 cudnn=7.1.2 libtiff
(/usr/local/appli/anaconda3/envsへの書き込み権限が必要)
$ conda activate janni
$ conda install numpy==1.14.5
$ conda install cython
$ pip install janni[gpu]

Gromacs-2022 (AMD GPU)のインストール

MacOSを12.5.1 (Monterey) にアップデートしたので、Gromacs-2022をGPUサポート状態でインストールし直しました。少なくともLysozymeのチュートリアルは動きます。

Homebrewでgromacs (GPUサポートなし) をインストールし、環境を確認
$ brew install gromacs
次のコマンドを打って、環境設定を確認
$ gmx --version
確認事項：C compilerおよびC++ compilerのpath
2-1. C compiler: /usr/local/opt/gcc/bin/gcc-12
2-2. C++ compiler: /usr/local/opt/gcc/bin/g++-12
Homebrewでインストールしたgromacsを削除する
$ brew uninstall gromacs
cmakeがインストールされていない場合、cmakeをインストール
$ brew install cmake
インストールしたいフォルダへ移動 (例では${PATH}と表記する)
gromacs 2022をダウンロードし、解凍
6-1. $ curl ftp://ftp.gromacs.org/gromacs/gromacs-2022.tar.gz -o gromacs-2022.tar.gz
6-2. $ tar -zxvf gromacs-2022.tar.gz
gromacs-2022フォルダ内にbuildフォルダを作成し、移動
7-1. $ cd gromacs-2022
7-2. $ mkdir build
7-3. $ cd build
cmakeを実行
$ sudo cmake .. -DCMAKE_INSTALL_PREFIX=/${PATH}/gromacs-2022 \
-DCMAKE_C_COMPILER=/usr/local/opt/gcc/bin/gcc-12 \
-DCMAKE_CXX_COMPILER=/usr/local/opt/gcc/bin/g++-12 \
-DGMX_MPI=OFF \
-DGMX_DOUBLE=OFF \
-DGMX_OPENMP=ON \
-DGMX_GPU=OpenCL \
-DGMX_PREFER_STATIC_LIBS=OFF \
-DGMX_FFT_LIBRARY=FFTW3 \
-DBUILD_SHARED_LIBS=OFF \
-DGMX_HWLOC=OFF
makeする
$ make -j16 install (cpu 16 coreの場合)
これで、/${USER}gromacs-2022/binにgromacs-2022がインストールされるので、pathを通す。

Lysozymeチュートリアルの実行結果

	MacPro (Late 2013)	iMac27インチ (2019)
スペック	3.7GHz Xeon E5 16GB 1866MHz DDR3 AMD FirePro D300 2GB	3.6GHz Corei9 64GB 2667MHz DDR4 Radeon Pro 580X 8GB
GPU/CPU evaluation time ratio	6.952	0.985
Performance	36.557 ns/day	97.778 ns/day

AmberTools 22のインストール

Minicondaをダウンロード
$ curl https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.sh -o Miniconda3-latest-MacOSX-x86_64.sh
ダウンロードしたファイルに実行権限を付与、
$ chmod +x Miniconda3-latest-MacOSX-x86_64.sh
Minicondaのインストール
$ ./Miniconda3-latest-MacOSX-x86_64.sh
MinicondaでMD用の環境を設定、
$ conda create --name MD
MD用の環境へ移動
$ conda activate MD
ambertools 22のインストール
$ conda install -c conda-forge ambertools=22 compilers
これで、ambertools22がインストールされる。

Gromacs-2018.8 (AMD GPU)のインストール

次のURLを参考に、環境を構築（参考1, 参考2)

レポジトリを追加
$ brew tap homebrew/core

gcc versionが9.1未満なら、
$ brew upgrade gcc

フーリエ変換用ライブラリのインストール
$ brew install fftw

cmakeがversion 3.4未満であれば、
$ brew upgrade cmake

Mac等のAMD製GPUが搭載されている場合、hwloc, llvm, libompをインストールする必要がある。
また、hwlocのversionを1.11にしなければならない。
5-1. $cd /usr/loca/Homebrew/Library/Taps/homebrew/homebrew-core/Formula
5-2. $git log hwloc.rb
5-3. version 1.11.Xのcommit IDを見つけて
5-4. $ git checkout (ID) hwloc.rb
5-5. $ brew unlink hwloc.rb
5-6. HOMEBREW_NO_AUTO_UPDATE=1 brew install hwloc
これでhwloc ver 1.11.Xがインストールされる。

$ brew install llvm libomp

$ curl ftp://ftp.gromacs.org/pub/gromacs/gromacs-2018.8.tar.gz -o gromacs-2018.8.tar.gz

$ tar -zxvf gromacs-2018.8.tar.gz

$ cd gromacs-018.8

$ mkdir build

$ cd build

$ CC=/usr/local/opt/llvm/bin/clang CXX=/usr/local/opt/llvm/bin/clang++ LDFLAGS="-L/usr/local/opt/llvm/lib" CPPFLAGS="-I/usr/local/opt/llvm/include" cmake .. -DCMAKE_C_COMPILER=/usr/local/opt/llvm/bin/clang -DCMAKE_CXX_COMPILER=/usr/local/opt/llvm/bin/clang++ -DGMX_MPI=OFF -DGMX_DOUBLE=OFF -DGMX_OPENMP=ON -DGMX_GPU=ON -DBUILD_SHARED_LIBS=OFF -DGMX_PREFER_STATIC_LIBS=OFF -DGMX_FFT_LIBRARY=FFTW3 -DCMAKE_INSTALL_PREFIX=/Users/${USER}/Applications/gromacs/2018.8 -DGMX_USE_OPENCL=ON -DGMX_USE_RDTSCP=ON

$ make -j16 install (cpu 16 coreの場合)

これで、/Users/${USER}/Applications/gromacs/2018.8にgromacs-2018.8がインストールされる。

Nvidia driver, CUDA-9.2, cuDNN 7.1.4のインストール

Nvidiaドライバのインストール有無の確認

dpkg -l | grep nvidia*
dpkg -l | grep cuda*

何も出力されないことを確認

Nvidia driverのインストール

$ sudo add-apt-repository ppa:graphics-drivers/ppa
$ sudo apt update
$ sudo apt-get install nvidia-396 (CUDA-9.2には39x番のdriverが必須, dirverとCUDAには相性がある)

rebootしてGPUが認識されるか確認

$ nvidia-smi

CUDA-toolkit-9.2のインストール

CUDA-9.2インストール用のdebファイルをダウンロード
$ sudo dpkg -i cuda-repo-ubuntu1604_9.2.148-1_amd64.deb (debファイルがあるフォルダ内で)
$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
$ sudo apt-get update
$ sudo apt-get install cuda-toolkit-9.2 ←これが大事!Nvidiaのサイト通りにすると最新版がインストールされる
.bashrcにPATHを記載

export PATH=/usr/local/cuda/bin${PATH:+$PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

PATHを適用

$ source ~/.bashrc

PATHの確認

$ nvcc -V

cuDNN 7.1.4のインストール

Nvidiaのdeveloper siteからlibcudnn7_7.1*+cuda9.0_amd64.deb, libcudnn7-dev_7.1*+cuda9.0_amd64.deb, libcudnn7-doc_7.1*+cuda9.0_amd64.debをダウンロード
$ sudo dpkg -i libcudnn7_7.1*+cuda9.0_amd64.deb
$ sudo dpkg -i libcudnn7-dev_7.1*+cuda9.0_amd64.deb
$ sudo dpkg -i libcudnn7-doc_7.1*+cuda9.0_amd64.deb

RELION 3.0.1のインストール (GPU-acceleration)

$ sudo apt-get install git
$ sudo mkdir -p /usr/local/apli/src/
$ cd /usr/local/apli/src
$ sudo git clone https://github.com/3dem/relion
$ sudo apt install cmake build-essential mpi-default-bin mpi-default-dev libfftw3-dev libtiff-dev csh (relionのチュートリアルに記載以外のubuntuにないパッケージもインストール)
$ cd relion
$ sudo mkdir build
$ sudo cmake -DCUDA=ON -DCudaTexture=ON -DCUDA_ARCH=61 -DCMAKE_INSTALL_PREFIX=/usr/local/appli/relion-3.0_cuda9.2 .. (1080Tiの場合, DCUDA_ARCH=61となる)
$ sudo make -j20
$ sudo make install

.bashrcの設定

export PATH=/usr/local/appli/relion-3.0_cuda92/bin:$PATH
export LD_LIBRARY_PATH=/usr/lib/openmpi/lib