caffe安装

Posted on

之前看SSD的论文，想跑一下caffe代码，就试图安装caffe，但由于是在服务器上，没有root权限，本来很简单的apt-get install安装依赖变得极其繁杂，参见https://www.tlanyan.me/work-with-linux-without-root-permission，看到一篇linux无root安装caffe，就跟着操作，然而貌似因为包的依赖关系，安装的包在用户下，但是这个包的一些依赖在系统里面，然后是一堆“找不到”的问题，linux我还不熟悉，不知道该怎么定位路径什么的，就不了了之。虽然一点不会caffe，但总想把它装一下，昨天看到一篇博客Caffe安装，发现目的一样，就跟着弄起来了。

因为我是用anaconda安装python的，所以这篇就是要在anaconda下的python里调用caffe。
参考：
Caffe安装
官方文档
linux-no-root-install-log

电脑环境：

  • Ubuntu 16.04.3 LTS cat /etc/issue （其实我一直以为是14.04，应该没什么关系。）
  • NVIDIA UNIX x86_64 kernel Module 390.67，驱动版本，cat /proc/driver/nvidia/version
  • CUDA 8.0.61 nvcc -V
  • cuDNN 不知道啥版本
  • gcc 5.4.0 gcc --version
  • g++ 5.4.0 g++ --version

anaconda

anaconda的安装可参考我之前的博客：anaconda总结。安装的时候竟然没提示加入环境变量，手动添加:

1
2
echo 'export PATH=/home/shaoxiaowen/anaconda3/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

这边安装的是anaconda3，python版本是3.6.5。
安装完之后更新conda，conda update conda

caffe依赖安装

官网上指示了caffe的依赖有：
1.CUDA，for GPU，版本7+，建议最新版，6._也可以。
2.cuDNN，for GPU加速，v6。
3.BLAS（ATLAS/MKL/OpenBLAS）
4.Boost >= 1.55
5.protobuf、glog、gflags、hdf5
6.OpenCV >= 2.4
7.IO库：lmdb、leveldb（leveldb需要snappy）

CUDA

服务器上CUDA已经配置好了，将CUDA路径加入用户目录下的$PATH和$LD_LIBRARY_PATH：

1
2
3
echo 'export PATH=/usr/local/cuda-8.0/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

另外，服务器上cuDNN也已经配置好了
NVIDIA驱动安装命令
CUDA安装命令
cuDNN安装命令

用conda安装依赖

我没有用conda创建新的环境，而是用的默认环境。在linux-no-root-install-log上，没有root权限时，caffe依赖都是手动安装，先下载安装包，然后安装时更改安装目录。这边我发现可以直接用conda安装依赖，（只要这些依赖在~/anaconda3/include，~/anaconda3/lib里面，然后anaconda是添加到用户环境变量里面的，所以这些依赖可以覆盖系统的依赖 而被调用）。其实caffe貌似可以直接用conda安装，在博客网页查询里面有链接。安装依赖命令：
conda install boost hdf5 snappy leveldb lmdb gflags glog
hdf5 、snappy没有被安装，anaconda里面包含了这两个包。安装完，我发现这些包都在~/anaconda3/lib和~/anaconda3/include里面，所以就没添加到用户环境变量。

protobuf

注意：protobuf不在~/anaconda3/include目录下，而是~/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0，所以需要添加到环境变量中。

1
2
3
4
5
6
protoc --version  # 查看系统protoc版本
conda install protobuf==3.5.1
echo 'export PATH=/home/shaoxiaowen/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/home/shaoxiaowen/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0/lib:$LD_LI``BRARY_PATH' >> ~/.bashrc
source ~/.bashrc
protoc --version  # 查看当前protoc版本

到release页面下载和protoc（即protobuf-cpp）版本一样的protobuf-python，然后：

1
2
3
4
5
6
tar -xzvf protobuf-python-3.5.1.tar.gz
cd protobuf-python-3.5.1
cd python
python setup.py build
python setup.py test
python setup.py install

这样protobuf python runtime就编译和安装好了。
conda list | grep protobuf，查看protobuf安装情况。

OpenBLAS

1
2
3
4
5
6
git clone https://github.com/xianyi/OpenBLAS.git
cd OpenBLAS
make FC=gfortran -j $(($(nproc) + 1))
make PREFIX=~/Openblas install
echo 'export LD_LIBRARY_PATH=/home/shaoxiaowen/Openblas/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

OpenCV

关于OpenCV，我参考的那篇博客上已经其他很多文章里都是手动安装编译，这边我直接使用conda安装：conda install -c menpo opencv3

caffe编译

上述依赖库都安装完成后，就可以编译caffe

1
2
3
4
git clone https://github.com/BVLC/caffe.git   # 下载caffe
cd caffe
cp Makefile.config.example Makefile.config  # 创建一个Makefile.config文件
vim Makefile.config  # 打开文件进行修改

主要修改的地方有：
1.使用cuDNN，将第5行USE_CUDNN := 1前的注释去掉；
2.使用opencv3，将第21行OPENCV_VERSION := 3前的注释去掉；
3.BLAS选择自己安装的库，我这边51行BLAS := open，因为安装的是openblas，然后在55、56行改成自己的安装位置：

1
2
BLAS_INCLUDE := /home/shaoxiaowen/Openblas/include
BLAS_LIB := /home/shaoxiaowen/Openblas/lib

4.更改python头文件位置，将第69行PYTHON_INCLUDE注释掉，然后将73、74的注释去掉，并修改：

1
2
3
4
ANACONDA_HOME := $(HOME)/anaconda3
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
		  $(ANACONDA_HOME)/include/python3.6m \
		  $(ANACONDA_HOME)/lib/python3.6/site-packages/numpy/core/include

5.使用python3，将第79行取消注释，改成PYTHON_LIBRARIES := boost_python36 python3.6m，这两个文件在~/anaconda3/lib目录下，名为libboost_python36.so和libpython3.6m.so，如果不是这两个名字，相应修改，可能是libboost_python3.so等。我之前就是没对应好，make时出现错误；
6.第85行PYTHON_LIB := $(ANACONDA_HOME)/lib取消注释；
7.使用pycaffe，第91行WITH_PYTHON_LAYER := 1取消注释；
8.第95、96行写上所有链接库位置：

1
2
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/

我的Makefile.config文件

然后就开始编译啦：

1
2
3
4
5
make clean  # 如果之前编译过的话，清除掉
make all -j8  # j8是使用8个线程，看机子上有几个核
make test -j8
make runtest -j8
make pycaffe -j8

make时出现一个错误，找不到lib*，找不到一个依赖，就直接把它的lib所在的位置添加到LD_LIBRARY_PATH就行。
我make runtest时没使用多个线程，就花了好几十分钟，但是还好都是ok，最后显示pass貌似。

将caffe路径添加到用户环境变量，这样才可以import：

1
2
3
echo 'export CAFFE_ROOT="/home/shaoxiaowen/caffe"' >> ~/.bashrc
echo 'export PYTHONPATH="/home/shaoxiaowen/caffe/python:$PYTHONPATH"' >> ~/.bashrc
source ~/.bashrc

然后打开python，输入import caffe，没有报错则可以了。但是我现在只是能import起来，以后要是使用的话可能还有问题。

等下，我突然想起来一个问题，师兄说机子上都安装了caffe，只要配置一下就好，喔》》》怎么搞。突然看到一篇服务器caffe配置，有道理，但是几个机子上我的目录下都乱七八糟搞也搞不了咯。