网站备案接入商,免费空间 个人网站 google广告联盟,小米应用商店,找加工订单的网站mxnet深度学习(Symbol) 自动标志化区分
NDArray是一个基础的计算单元在MXNet里面的。除此之外#xff0c;MXNet提供一个标志化的接口#xff0c;叫做Symbol#xff0c;为了简化构造神经网络。标志化结合了灵活性和效率。一方面#xff0c;它是和Caffe里面的神经网络构造是…mxnet深度学习(Symbol) 自动标志化区分
NDArray是一个基础的计算单元在MXNet里面的。除此之外MXNet提供一个标志化的接口叫做Symbol为了简化构造神经网络。标志化结合了灵活性和效率。一方面它是和Caffe里面的神经网络构造是相似的和CXXNet另一方面标志化还定义Theano里面的计算图源。 基本的标志组成
下面的代码创造了2层感知器。 import mxnet as mxnet mx.symbol.Variable(data)net mx.symbol.FullyConnected(datanet, namefc1, num_hidden128)net mx.symbol.Activation(datanet, namerelu1, act_typerelu)net mx.symbol.FullyConnected(datanet, namefc2, num_hidden64)net mx.symbol.SoftmaxOutput(datanet, nameout)type(net)
class mxnet.symbol.Symbol 每个标志带有一个特定的名字。Variable经常定义为输入或者空的变量。其它的标志把一个标志(data)作为输入同时还可以接收其它的假设参数比如隐藏神经元的个数或者激活类型。
这个标志可以简单可见的以一个函数和几个函数参数不过它们的名字都是随机生成的。我们可以用下面的语句来看 net.list_arguments()
[data, fc1_weight, fc1_bias, fc2_weight, fc2_bias, out_label] 我们可以看到这些参数是被每个symbol所需要的 data:variable data里面所需要的数据
fc1_weighted和fc1_bias与第一层fc1相连的权重和偏执项。
fc2_weighted和fc2_bias与第一层fc2相连的权重和偏执项。
out_label损失(函数)所需要的标签 我们也可以显示指定这些自动的名字: net mx.symbol.Variable(data)w mx.symbol.Variable(myweight)net mx.symbol.FullyConnected(datanet, weightw, namefc1, num_hidden128)net.list_arguments()
[data, myweight, fc1_bias]
更加复杂的构造
MXNet提供了优化好的标志(src/operator)对于深度学习里面常用层级。我们也能简单的定义新的操作在python里面。下面的例子第一次执行了一个元素级加法操作在两个层级之间然后把他们传给完全连接的操作。 lhs mx.symbol.Variable(data1)rhs mx.symbol.Variable(data2)net mx.symbol.FullyConnected(datalhs rhs, namefc1, num_hidden128)net.list_arguments()
[data1, data2, fc1_weight, fc1_bias] 我们也可以生成一个标志以另一个灵活的方式而不是像前面的类似一条龙的服务。 net mx.symbol.Variable(data)net mx.symbol.FullyConnected(datanet, namefc1, num_hidden128)net2 mx.symbol.Variable(data2)net2 mx.symbol.FullyConnected(datanet2, namenet2, num_hidden128)composed_net net(datanet2, namecompose)composed_net.list_arguments()
[data2, net2_weight, net2_bias, compose_fc1_weight, compose_fc1_bias] 在上面的例子里面net是用来应用于一个存在的标志然后结果的composed_net将会取代net里面原来的data,通过net2. composed_net net(datanet2, namecompose) 模型参数推断
在下面我们将推断所有的需要作为输入数据的模型的参数 net mx.symbol.Variable(data)net mx.symbol.FullyConnected(datanet, namefc1, num_hidden10)arg_shape, out_shape, aux_shape net.infer_shape(data(100, 100))dict(zip(net.list_arguments(), arg_shape))
{data: (100, 100), fc1_weight: (10, 100), fc1_bias: (10,)}out_shape
[(100, 10)] 我们可以看一下net.infer_shape函数的功能 infer_shape(self, *args, **kwargs) method of mxnet.symbol.Symbol instance Infer the shape of outputs and arguments of given known shapes of arguments. User can either pass in the known shapes in positional way or keyword argument way. Tuple of Nones is returned if there is not enough information passed in. An error will be raised if there is inconsistency found in the known shapes passed in. Parameters ---------- *args : Provide shape of arguments in a positional way. Unknown shape can be marked as None **kwargs : Provide keyword arguments of known shapes. Returns ------- arg_shapes : list of tuple or None
这个模型推断将被用来作为一个调试机制来检测模型的不一致。 绑定标志并且运行
现在我们可以绑定空的标志来实行前向传播和后向传播的操作。bind这个函数将创建一个Executor(用来执行真实的计算) # define computation graphsA mx.symbol.Variable(A)B mx.symbol.Variable(B)C A * Ba mx.nd.ones(3) * 4b mx.nd.ones(3) * 2# bind the symbol with real argumentsc_exec C.bind(ctxmx.cpu(), args{A : a, B: b})# do forward pass calclation.c_exec.forward()c_exec.outputs[0].asnumpy()
[ 8. 8. 8.] 对于神经网络一个更常用的使用模式是simple_bind,这个将会创建所有的参数数组。接下去你将会调用forward,和backward(如果梯度需要的话)来得到梯度。 # define computation graphsnet some symboltexec net.simple_bind(datainput_shape)texec.forward()texec.backward() 最后 model API是一个简单的对标志执行器的封装来支持神经网络的训练。
