陕西省建设教育培训中心网站,asp美食网站源码,wordpress导入大于2m,电子请柬免费制作软件app点击上方关注#xff0c;All in AI中国本文将介绍如何使用Keras和Google CoLaboratory与TPU一起训练LSTM模型#xff0c;与本地计算机上的GPU相比#xff0c;这样训练能大大缩短训练时间。很长一段时间以来#xff0c;我都在单张GTX 1070显卡上训练我的模型#xff0c;它的…点击上方关注All in AI中国本文将介绍如何使用Keras和Google CoLaboratory与TPU一起训练LSTM模型与本地计算机上的GPU相比这样训练能大大缩短训练时间。很长一段时间以来我都在单张GTX 1070显卡上训练我的模型它的单精度大约为8.18 TFlops。后来Google的Colab开放了免费的Tesla K80显卡配备12GB RAM8.73TFlops。直到最近Colab的运行时类型选择器中还会弹出带有180 TFlops的Cloud TPU选项。这篇教程将简要介绍如何将现有的Keras模型转换为TPU模型然后在Colab上训练。与在GTX1070上训练相比TPU能够加速20倍。我们将构建一个易于理解但训练起来非常复杂的Keras模型这样我们就可以稍微预热一下Cloud TPU。在IMDB情感分类任务上训练LSTM模型可能是一个很好的例子因为相比密集层和卷积层来说训练LSTM对算力要求更高。工作流程概述使用静态输入batch_size构建用于功能API训练的Keras模型将Keras模型转换为TPU模型使用静态batch_size * 8训练TPU模型并将权重保存到文件创建一个结构相同但输入批大小可变的Keras模型用于推理加载模型权重基于推理模型进行预测在阅读本文的同时你可以上手试验相应的Colab Jupyter notebookKeras_LSTM_TPU.ipynb。(https://colab.research.google.com/drive/1QZf1WeX3EQqBLeFeT4utFKBqq-ogG1FN)首先按照下图中的说明来激活在Colab运行中的TPU。激活TPU固定输入批尺寸大多数情况下CPU和GPU上对输入形状没有限制但XLA/TPU环境下会强制使用固定的形状和批尺寸。Can TPU包含8个TPU核心作为独立的处理单元运行。如果没有使用所有八个核心那TPU就不会得到充分利用。为了充分提高训练的矢量化速度相比在单一GPU上训练的同样的模型我们可以选择较大的批尺寸。总批尺寸大小为1024(每个核心128个)通常是一个很好的起点。如果你要训练批尺寸较大的型号请尝试慢慢减小批尺寸以保证TPU内存放得下只需确保总批尺寸为64的倍数(每核心批尺寸应该是8的倍数)。值得一提在批尺寸较大时通常可以提高优化器的学习速率以实现更快的收敛。你可以在本文中找到参考——Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour。(https://arxiv.org/pdf/1706.02677.pdf)在Keras中要定义静态批处理尺寸我们使用函数API然后为输入层指定batch_size参数。请注意模型构建在一个带有batch_size参数的函数中因此我们之后可以很方便地创建在CPU或GPU上运行的模型这些模型接受可变批尺寸的输入。此外我们在这里使用了tf.train.Optimizer而不是标准的Keras优化器因为TPU对Keras优化器的支持还处于实验阶段。将Keras模型转换为TPU模型tf.contrib.tpu.keras_to_tpu_model函数将tf.keras模型转换为等价的TPU版本。然后我们使用标准的Keras方法来训练保存权重并评估模型。请注意batch_size设置为模型输入batch_size的八倍因为输入样本在8个TPU核心上均匀分布。我做了一个实验用来比较在Windows PC上运行单个GTX1070和在Colab上运行的TPU之间的训练速度结果如下GPU和TPU都将输入批尺寸设为128。GPU每个历元179秒。20个历元后的验证准确率达到了76.9总计3600秒。TPU每个历元5秒(第一个历元需要49秒)。20个历元后的验证准确率达到了95.2总计150秒。在20个历元之后TPU的验证准确度高于在GPU上的表现那是因为TPU上同时训练8个批的样本(每个批的大小为128)。在CPU上进行推理一旦我们获得了模型权重我们就可以像往常一样加载它然后在CPU或GPU等其他设备上进行预测。我们想要推理模型接受可变的输入批大小这可以使用之前的make_model()函数来实现。你可以看到推理模型现在可以接受可变输入样本数目然后你可以使用标准的fit()、evaluate()函数与推理模型。结论以及进一步阅读这篇快速教程向你简要介绍了如何利用Google Colab上的免费Cloud TPU资源更快地训练Keras模型。云TPU文档https://cloud.google.com/tpu/docs/云TPU性能指南https://cloud.google.com/tpu/docs/performance-guide云TPU故障排除指南https://cloud.google.com/tpu/docs/troubleshootingXLA概述https://www.tensorflow.org/performance/xla/编译出品
