电脑行业网站模板,品质好价格低的广告词,做网站联系,网络公司推荐前言
前面介绍的案例都是leveldb的格式#xff0c;但是比较流行和实用的格式是lmdb#xff0c;原因从此网站摘取 它们都是键/值对#xff08;Key/Value Pair#xff09;嵌入式数据库管理系统编程库。虽然lmdb的内存消耗是leveldb的1.1倍#xff0c;但是lmdb的速度比level…前言
前面介绍的案例都是leveldb的格式但是比较流行和实用的格式是lmdb原因从此网站摘取 它们都是键/值对Key/Value Pair嵌入式数据库管理系统编程库。虽然lmdb的内存消耗是leveldb的1.1倍但是lmdb的速度比leveldb快10%至15%更重要的是lmdb允许多种训练模型同时读取同一组数据集。因此lmdb取代了leveldb成为Caffe默认的数据集生成格式。 以下步骤均为在E:\CaffeDev-GPU\caffe-master下实施
第一步
确保路径E:\CaffeDev-GPU\caffe-master\examples\mnist下存在从mnist官网下载的四个文件我在mnist下新建了一个mnist文件夹把文件丢进去了 并在E:\CaffeDev-GPU\caffe-master\examples\mnist文件夹下新建bat文件创建训练集create_minist_trainlmdb.bat内容如下 E:\CaffeDev-GPU\caffe-master\Build\x64\Debug\convert_mnist_data.exe ./mnist/train-images-idx3-ubyte ./mnist/train-labels-idx1-ubyte ./mnist_train_lmdb
pause接下来创建测试集create_minist_testlmdb.bat内容如下 E:\CaffeDev-GPU\caffe-master\Build\x64\Debug\convert_mnist_data.exe ./mnist/t10k-images-idx3-ubyte ./mnist/t10k-labels-idx1-ubyte ./mnist_test_lmdb
pause 或者跟我们前面建立leveldb一样建立一个bat内容如下 set DATA../../data/mnist
set TOOLS../../Build/x64/DebugREM set BACKENDleveldb
set BACKENDlmdbecho Creating %BACKEND%...rd /s /q mnist_train_%BACKEND%
rd /s /q mnist_test_%BACKEND%%TOOLS%/convert_mnist_data.exe %DATA%/train-images-idx3-ubyte %DATA%/train-labels-idx1-ubyte mnist_train_%BACKEND% --backend%BACKEND%
%TOOLS%/convert_mnist_data.exe %DATA%/t10k-images-idx3-ubyte %DATA%/t10k-labels-idx1-ubyte mnist_test_%BACKEND% --backend%BACKEND%echo Done.pause
第二步
运行建立训练集的bat出现我们的第一个问题 原因在于内存问题打开caffe.sln然后修改convert_mnist_data.cpp第101行
原始值设置内存为1T然而我们的内存并没这么大所以改小一点差不多100M多一点吧
改完以后重新编译此cpp文件然后再去运行前面建立训练集和测试集的bat文件
第三步
运行create_minist_trainlmdb.bat会出现 如果你原来有mnist_train_lmdb这个文件夹记得删掉否则会出现 因为我们写bat的时候并未检测这个文件夹是否存在只是想单纯建立这个文件夹用来存lmdb数据所以会出现mkdir应该就是make dir失败。
如果我们使用第三个bat就不会出现这个问题了一目了然
