h5响应式网站建设报价,wordpress学生,wordpress默认主体设置,徐州人才网档案查询先来回答一下你提的几个问题#xff1a;Pytorch连最基本的maximum, minimum, tile等等这些numpy和tensorflow中最简单的运算都没有#xff0c;用view来reshape还会报错contiguous(虽然我知道怎么解决)#xff0c;官方手册也查不到相应说明#xff0c;这个东西到底好用在哪里…先来回答一下你提的几个问题Pytorch连最基本的maximum, minimum, tile等等这些numpy和tensorflow中最简单的运算都没有用view来reshape还会报错contiguous(虽然我知道怎么解决)官方手册也查不到相应说明这个东西到底好用在哪里?你说的那几个函数pytorch中都有(或者可以实现)maximum torch.max() 同时包含了numpy.max 和numpy.maximum的功能minimumtorch.min()np.tile(arr,(100,100)) 等价于 tensor.repeat(100,100)contiguous的问题我经常听别人提问但我从未遇到过(我几乎从未调用过tensor.contiguous())大多数人也很少会把tensor弄成不连续。之所以tensor会不连续是为了能够共享内存更高效的内存利用(其实只要PyTorch在设计的时候把所有的不连续操作都返回一个连续的tensor即可解决这个问题但是不值得大多数不连续的tensor都会进行一个reduce操作然后就变成了连续的了)。numpy那么多函数PyTorch不可能都支持即使不支持也可以在numpy中实现然后转成tensor毕竟numpy和tensor之间的转换极其高效快速(他们共享内存).这个东西到底好用在哪里?还是说就是定义网络结构简单?PyTorch到底好在哪其实我也只是有个朦胧的感觉总觉的用的舒服自在用其它框架的时候总是觉得这里或者那里别扭。第一次用PyTorch几乎是无痛上手而且随着使用的增加更是越来越喜欢PyTorch不仅仅是定义网络结构简单而且还很直观灵活。静态图的网络定义都是声明式的而动态图可以随意的调用函数(ifforlist什么的随便用)两者的差距不是一点点。网络的定义在任何框架中都应该是属于最基础最简单的一个内容即使是接口繁多的tensorflow通过不断的查文档新手也能把模型搭起来或者是看懂别人的模型。这个PyTorch也不例外它的优势在于模型定义十分直观易懂很容易看懂看别人写的代码。可以看看pytorch/vision 里面的几个经典的网络定义我觉得很难找到比它更简洁易懂的模型定义了。网络模型定义只是很基础的一部分更重要的是模型的使用。比如在使用预训练模型finetue时我们需要修改预训练模型某些层新增某些层删除某些层新增的层希望给他较高的学习率之前预训练的层希望学习率设为0。scene-baseline 是我前几天为AI challenger 场景分类写的baseline可以参考一下只用了几行代码就实现了预训练模型finetune(新增某些层删除某些层修改某些层)以及为不同层设置不同学习率 scene-baseline-optimizer 。再比如在尽可能不修改原来模型源代码的情况下获取预训练好模型的某些层的输出(Fast Neural Style需要用到)或者是使用多个预训练好的子模型分别初始化一个复杂模型的某一部分因为子模型的结构都是相似的所以可以让这些子模型共享某些层的参数(知乎看山杯我就用了这个策略。表述的可能很复杂其实在模型的构建只用了几行)谈太多框架的使用可能比较枯燥只有你自己用了才知道PyTorch真的是越用越顺手。下面说几点其它的看法没有什么条理不论证举例只说想法只是个人看法不必太认真1.PyTorch比TF更符合Unix/Python哲学Unix哲学做一件事并把它做好。(真的要在做实验的时候考虑如何把模型部署到手机利用TPU加速)Unix哲学KISS(keep it simple, stupid)。github上TF有接近100万行代码PyTorch只有它的十分之一多一点。TensorFlow创造了 图、会话、命名空间、PlaceHolder 等一大堆全新的概念简直就是一门新的语言。TensorFlow是Make It Complicated TensorFlowKeras是Make It Complicated And Hide It。而Keras的Hide it又违反了Python的哲学(扁平胜于嵌套 )丧失了灵活性。而PyTorch就是tensor-autograd-nn 三级封装~ 简洁易懂Python之禅尽量找一种最好是唯一一种直观易懂的实现方案(猜猜TF中RNN有多少种实现猜猜除了Keras、Sonnet、TFLearn、TensorLayer、Slim、PrettyLayer之外tensorflow还有多少个第三方API )。PyTorch的不同人写的代码都差不多很容易看懂。The Zen of Python, by Tim Peters优美胜于丑陋明了胜于晦涩简洁胜于复杂 复杂胜于凌乱扁平胜于嵌套间隔胜于紧凑可读性很重要即便假借特例的实用性之名也不可违背这些规则不要包容所有错误除非你确定需要这样做当存在多种可能不要尝试去猜测而是尽量找一种最好是唯一一种直观易懂的实现方案虽然这并不容易因为你不是 Python 之父做也许好过不做但不假思索就动手还不如不做如果你很难向人描述你的实现那肯定不是一个好实现命名空间是一种绝妙的理念我们应当多加利用如果你很难向人描述你的实现那肯定不是一个好实现2.快速在大多数人写的代码中PyTorch都比TensorFlow快并不是说TensorFlow慢只是你要用TensorFlow写出同等速度的代码会稍微困难一些(单单是数据加载这一块就会难倒许多人)3.强大的社区facebook的FAIR强力支持FAIR是全球TOP3的AI研究机构。PyTorch论坛文档tutorial一应俱全。FAIR的几位工程师更是全职维护开发github上PyTorch每天都有许多pull request和讨论。你很难听到有谁说TF好用最多是诸如谷歌支持社区强大文档完善功能齐全等等。但是PyTorch你只要深度用过一段时间就会喜欢上它的。很多人自来水安利PyTorch当然不是facebook给钱或者是博得多少点击量真的是因为它太好用了。其实关于TensorFlow还有一点让我颇为不满的是现在媒体总是觉得谷歌的东西就是最好的每回TensorFlow有什么更新都要搞个大新闻。而且谷歌喜欢把一个项目的目标当成这个项目的特点来宣传但是TensorFlow的实际表现配不上它的名气。4.简洁易懂的代码一个框架你不懂源码你就不能完全掌握它的运行原理像tensorflow的sess.run简直就是个黑箱。而PyTorch几乎是我用过框架中源码最易懂的任何一个操作不论多么高级复杂都能轻松的找到它对应tensor操作(Caffe/tinydnn也挺简洁的但是我的C比较渣)nn.Module代码是PyTorch中对所有模型对象的封装我觉得几乎所有人都应该看看深度学习框架的设计可以很简单现在GluonSonnetnnabla等框架也都开始模仿这个设计api~5.快速实现深度学习炼丹的过程中我们肯定都有许多奇思妙想但这些奇思妙想需要做实验来验证。如果实现比较困难费时在不确定这个想法是否有效的情况下我们很容易打退堂鼓。PyTorch可以解放你的想法用tensor的思维思考代码一切操作皆tensor一切tensor能做的PyTorch都能做到而且做的像操作tensor一样。用TensorFlow 我能找到很多别人的代码用PyTorch 我能轻松实现自己的想法而且github上很多tensorflow的代码也不能跑了不是吗毕竟TF常年一步一大更新不怎么考虑向后兼容。随着同学的更新TF我眼睁睁看的我的TF代码从运行正常到警告到报错PyTorch实现的项目在github上也有很多不是吗基本上所有的研究方向都能找到质量很高的PyTorch开源方案。6.关于PyTorch的几个误解PyTorch社区不强大 看上文PyTorch 文档不齐全我觉得PyTorch的文档几乎是所有框架中最好的这些文档都是作者在设计的时候就写好的不是别人看着代码凭借着自己理解写的。 而且PyTorch文档中的给出了很多示例在IPython下可以直接拷贝运行做实验测试。PyTorch中没有TensorBoard? lanpa/tensorboard-pytorch 不仅功能强大(支持Tensorboard几乎所有的操作连计算图都支持只是显示效果不好)而且接口简单(比tf的tensorboard api易用)。而且除了Tensorboard还有Visdom可以用~PyTorch动态图性能比较差见上文同等水平的人用PyTorch写出来的代码普遍要比TensorFlow快。当然我认为极限情况下TensorFlow会比PyTorch快详情可以看TensorFlow官方的benchmark只是写的代码很复杂普通用户写不出来。总感觉表述有点匮乏表达也不是很流畅还有很多没表达出来的。可以看看其他人是怎么说的PyTorch和TensorFlow到底哪个更好看看一线开发者怎么说 (帖子是3月份初发的这时候PyTorch才发布一个多月但几乎所有用过的人已经都在夸赞)
