当前位置: 首页 > news >正文

网站开发的问题有哪些长沙生活网

网站开发的问题有哪些,长沙生活网,自己建网站做网店,广告软文范例一、单进程读取数据 Dataset 在数据量很大#xff0c;无法将全部数据加载到内存的情况下#xff0c;可以在init中读出表数据行数#xff0c;在__len__设置为长度返回#xff0c;在__getitem__中根据idx读表#xff0c;idx就可以表示读取的表的行数#xff0c;一般在读表…一、单进程读取数据 Dataset 在数据量很大无法将全部数据加载到内存的情况下可以在init中读出表数据行数在__len__设置为长度返回在__getitem__中根据idx读表idx就可以表示读取的表的行数一般在读表的时候写作 path/table_name?start{}end{} import torch import numpy as np from torch.utils.data import IterableDataset, Dataset 需要先一次性把data都从文件或者表中读出来知道数据的长度为了生成index列表长度为数据的长度 分batch训练的时候dataloader根据分好的一个batch中的idx来读取这个batch中的数据 a [{anchor_text: np.array([1, 1, 1]), anchor_vis: np.array([1, 1, 1])},{anchor_text: np.array([2, 2, 1]), anchor_vis: np.array([4, 1, 1])},{anchor_text: np.array([3, 3, 1]), anchor_vis: np.array([2, 1, 1])},{anchor_text: np.array([4, 4, 1]), anchor_vis: np.array([3, 1, 1])}]class TableDataset(Dataset):def __init__(self):self.tablepath self.data_length len(a)def __len__(self):return self.data_lengthdef __getitem__(self, idx):return a[idx]train_dataset TableDataset() train_ld torch.utils.data.DataLoader(train_dataset, batch_size2, shuffleFalse)for idx, batch_data in enumerate(train_ld):print(batch_data)at batch_data[anchor_text].to(torch.float32)# print(at--------,at)IterableDataset 在数据量很大无法将全部数据加载到内存的情况下可以在__iter__中一行一行的读表读一行就立马返回一行。 import torch import numpy as np from torch.utils.data import IterableDataset, Dataset不需要一次性知道数据长度 分batch训练的时候dataloader根据一个batch的大小bs来执行__iter__函数bs次得到这个batch的数据 a [{anchor_text: np.array([1, 1, 1]), anchor_vis: np.array([1, 1, 1])},{anchor_text: np.array([2, 2, 1]), anchor_vis: np.array([4, 1, 1])},{anchor_text: np.array([3, 3, 1]), anchor_vis: np.array([2, 1, 1])},{anchor_text: np.array([4, 4, 1]), anchor_vis: np.array([3, 1, 1])}]class TableDataset2(IterableDataset):def __init__(self):self.tablepath def __iter__(self):for line in a:print(line:,line)yield linetrain_dataset TableDataset2() train_ld torch.utils.data.DataLoader(train_dataset, batch_size2, shuffleFalse)for idx, batch_data in enumerate(train_ld):print(batch_data)at batch_data[anchor_text].to(torch.float32)# print(at--------,at)上述提到的处理数据量大的方法都需要提前将数据处理好存入表中程序读取数据就可以直接跑模型了。 二、多进程读取数据 后续有时间再补上 IterableDataset 当DataLoader设置为多进程时每个进程都会拥有一个IterableDataset的生成器函数__iter__每当这个进程收集到的数据达到batch size的时候就把这批收集到的数据给loader也就在for batch_data in train_loader: 的时候就能得到这批数据。
http://wiki.neutronadmin.com/news/7565/

相关文章:

  • 福州网站制作网站网站建设项目登记表
  • 北京建设部官方网站证书查询微信上做网站编辑
  • 扫二维码做自己网站免费游戏网站模板
  • 经营性商务网站建设需要备案吗永康网站开发
  • 建设网站建设什么征琴小女孩做网站
  • 执法局网站建设目的宣传软文是什么意思
  • 免费发广告的软件网站建设以及seo
  • 园林建设网站建设工程人力资源官网
  • 汕头网站制作哪家强广州最新发布消息
  • dedecms wap网站模板下载简单美食网站模板
  • 网站配色方案上市公司网站的作用
  • 公司网站建设和百度推广流程图温州门户网站
  • 网站模板哪家好做网站怎么不被找到
  • 做网站播放未上映的电影做网站公司q房网
  • 如何推广自己的外贸网站电子商务专业是干什么的
  • 设计logo网站赚钱医疗门户网站管理系统
  • 哈尔滨市建筑企业管理站wordpress怎么用外链
  • 龙岗企业网站设计公司.net网站服务器
  • 企业网站案列湖南3合1网站建设电话
  • 公司培训网站建设寿光企业建站流程
  • 福州免费自助建站模板如何让产品吸引顾客
  • 标识标牌网站怎么做wordpress做第二个
  • 万江建筑培训中心四川网站seo
  • 剑网三魁首怎么做网站内蒙古建设工程造价信息网官网信息价
  • 汉庭酒店网站建设方案免费用手机制作网站 百度百
  • 苏州海外建站公司网站开发前台实训
  • 河北网站制作多少钱代做毕网站
  • 学做网站论坛视频下载南京城乡建设局网站首页
  • 陕西网站备案查询请简要描述如何进行网站设计规划
  • 网站管理助手v3做办公用品网站工作计划