二手闲置平台网站怎么做,百度商城网站建设,延边网站开发depawo,湖南3合1网站建设公司我正在写一个模块来训练一个大型数据集上的ML模型——它包括0.6米的数据点#xff0c;每个数据点的维度都是0.15米。我在加载数据集本身时遇到了问题。(全是numpy数组)下面是一个代码片段(它复制了实际代码的主要行为)#xff1a;import numpyimport psutilFV_length 150000…我正在写一个模块来训练一个大型数据集上的ML模型——它包括0.6米的数据点每个数据点的维度都是0.15米。我在加载数据集本身时遇到了问题。(全是numpy数组)下面是一个代码片段(它复制了实际代码的主要行为)import numpyimport psutilFV_length 150000X_List []Y_List []for i in range(0,600000):feature_vector numpy.zeros((FV_length),dtypenumpy.int)# using db data, mark the features to activatedclass_label 0X_List.append(feature_vector)Y_List.append(class_label)if (i%100 0):print(i)print(Virtual mem %s %(psutil.virtual_memory().percent))print(CPU usage %s %psutil.cpu_percent())X_Data np.asarray(X_List)Y_Data np.asarray(Y_List)这些代码会导致内存分配不断增加直到被杀死。有没有办法减少不断增加的内存分配在我试过用gc.收集()但它始终返回0。我把variablesNone显式地设置为不再有用。在
