长春站最新通知,网站开发大赛,WordPress文章查询插件,深圳宣传片原标题#xff1a;一行Python解决内存问题
内存不足是项目开发过程中经常碰到的问题#xff0c;我和我的团队在之前的一个项目中也遇到了这个问题#xff0c;我们的项目需要存储和处理一个相当大的动态列表#xff0c;测试人员经常向我抱怨内存不足。但是最终#xff0c;我…原标题一行Python解决内存问题
内存不足是项目开发过程中经常碰到的问题我和我的团队在之前的一个项目中也遇到了这个问题我们的项目需要存储和处理一个相当大的动态列表测试人员经常向我抱怨内存不足。但是最终我们通过添加一行简单的代码解决了这个问题。
结果如图所示我将在下面解释它的工作原理
举一个简单的“learning”示例 - 创建一个DataItem类在其中定义一些个人信息属性例如姓名年龄和地址。小测试——这样一个对象会占用多少内存?
首先让我们尝试下面这种测试方案
d1 DataItem(Alex, 42, -)
print (sys.getsizeof(d1):, sys.getsizeof(d1))
答案是56字节。看起来比较小结果令人满意。
但是让我们检查另一个数据多一些的对象
d2 DataItem(Boris, 24, In the middle of nowhere)
print (sys.getsizeof(d2):, sys.getsizeof(d2))
答案仍然是56。这让我们明白这个结果并不完全正确。
我们的直觉是对的这个问题不是那么简单。Python是一种非常灵活的语言具有动态类型它在工作时存储了许多额外的数据。这些额外的数据本身就占了很多内存。
例如sys.getsizeof(“ ”)返回33没错每个空行就多达33字节!并且sys.getsizeof(1)将为此数字返回24-24个字节(我建议C程序员们现在点击结束阅读以免对Python的美丽失去信心)。
对于更复杂的元素例如字典sys.getsizeof(dict())返回272个字节这还只是一个空字典。举例到此为止但事实已经很清楚了何况RAM的制造商也需要出售他们的芯片。
现在让我们回到回到我们的DataItem类和“小测试”问题。
这个类到底占多少内存?
首先我们将以较低级别输出该类的全部内容
def dump(obj):
for attr in dir(obj):
print( obj.%s %r % (attr, getattr(obj, attr)))
这个函数将显示隐藏在“隐身衣”下的内容以便所有Python函数(类型继承和其他包)都可以运行。
结果令人印象深刻它总共占用多少内存呢?
在GitHub上有一个函数可以计算实际大小通过递归调用所有对象的getsizeof实现。让我们试一下我们分别得到460和484字节这似乎更接近事实。
使用这个函数我们可以进行一系列实验。例如我想知道如果DataItem放在列表中数据将占用多少空间。
get_size([d1])函数返回532个字节显然这些是“原本的”460一些额外开销。但是get_size([d1d2])返回863个字节—小于460484。get_size([d1d2d1])的结果更加有趣它产生了871个字节只是稍微多了一点这说明Python很聪明不会再为同一个对象分配内存。
现在我们来看问题的第二部分
是否有可能减少内存消耗?
答案是肯定的。Python是一个解释器我们可以随时扩展我们的类例如添加一个新字段这是一个很棒的特点但是如果我们不需要这个功能我们可以强制解释器使用__slots__指令来指定类属性列表更多信息可以参考文档中的“__dict__和__weakref__的部分。使用__dict__所节省的空间可能会很大”。
我们尝试后发现get_size(d1)返回的是64字节对比460直接减少约7倍。作为奖励对象的创建速度提高了约20%(请参阅文章的第一个屏幕截图)。
真正使用如此大的内存增益不会导致其他开销成本。只需添加元素即可创建100,000个数组并查看内存消耗在没有__slots__的情况结果为16.8MB而使用__slots__时为6.9MB。当然不是7倍但考虑到代码变化很小它的表现依然出色。
现在讨论一下这种方式的缺点。激活__slots__会禁止创建其他所有元素包括__dict__这意味着例如下面这种将结构转换为json的代码将不起作用
def toJSON(self):
return json.dumps(self.__dict__)
但这也很容易搞定可以通过编程方式生成你的dict遍历循环中的所有元素向类中动态添加新变量也是不可能的但在我们的项目里这不是必需的。
下面是最后一个小测试。来看看整个程序需要多少内存。在程序末尾添加一个无限循环使其持续运行并查看Windows任务管理器中的内存消耗。
没有__slots__时69Mb变成27Mb......好吧毕竟我们节省了内存。对于只添加一行代码的结果来说已经很好了。
注意tracemalloc调试库使用了大量额外的内存。显然它为每个创建的对象添加了额外的元素。如果你将其关闭总内存消耗将会少得多截图显示了2个选项如何节省更多的内存?
可以使用numpy库它允许你以C风格创建结构但在这个的项目中它需要更深入地改进代码所以对我来说第一种方法就足够了。
奇怪的是__slots__的使用从未在Habré上详细分析过我希望这篇文章能够填补这一空白。
结论
这篇文章看起来似乎是反Python的广告但它根本不是。Python是非常可靠的(为了“删除”Python中的程序你必须非常努力)这是一种易于阅读和方便编写的语言。在许多情况下这些优点远胜过缺点但如果你需要性能和效率的最大化你可以使用numpy库像C一样编写代码它可以非常快速有效地处理数据。返回搜狐查看更多
责任编辑
