建设网站公司联系方式,宁波seo快速优化,网站建设工作的作用,工业产品设计作品集(2021) 22 [持久化] 1-Bit的存储
南京大学操作系统课蒋炎岩老师网络课程笔记。 视频#xff1a;https://www.bilibili.com/video/BV1HN41197Ko?p22 讲义#xff1a;http://jyywiki.cn/OS/2021/slides/12.slides#/ 背景
回顾
操作系统是什么#xff1f;一组对象 一组API…(2021) 22 [持久化] 1-Bit的存储
南京大学操作系统课蒋炎岩老师网络课程笔记。 视频https://www.bilibili.com/video/BV1HN41197Ko?p22 讲义http://jyywiki.cn/OS/2021/slides/12.slides#/ 背景
回顾
操作系统是什么一组对象 一组API
一组对象 UNIX: everything is a file 数据 /bin/sh, a.txt, …设备 /dev/tty, /dev/sda, … 一组 API open, read, write, fork, execve, exit, mmap, …
最后没有解释的部分 持久化
文件是如何实现的为什么关机以后文件还在
本次课程的目标
理解 1-bit 在物理世界中是如何存储的以及它们背后的存储设备
磁磁带、磁盘、软盘光光盘、CD-RW电NAND Flash
为什么要在这门课讨论持久化持久化有关 “操作系统对象” 的故事
“最小” 操作系统里的对象 进程 (状态机)(持久保存) 的数据 (文件) making information persist, despite computer crashes, disk failures, or power outages is a tough and interesting challenge 文件系统接管了 UNIX 世界的 “对象管理”
存储介质及评估方法
持久化需要 “non-volatility”
能把 1-bit 稳定持久地存储在物理世界 再次见证人类的历史
存储设备
逻辑上可以看成是一个 bit/byte array 1 TB 的磁盘 1T 个 1-byte (8∗1012 个 1-bit)通常支持按块 (block) 的方式读写 区别于 RAM (Random Access Memory) 评价方法价格、扩展性 (容量)、速度、可靠性
存储介质磁
磁带
介绍
用 “磁化方向” 表示 1-Bit 信息物理空间一定区域的磁介质将N/S 极的朝向作为 1-bit。
分析 价格非常低 扩展性 (容量)非常高 读写速度顺序读取勉强随机读取几乎完全不行。 可靠性存在机械部件、需要保存的环境苛刻。 今天的应用场景冷数据的专用备份
磁鼓
介绍
“并行版” 磁带
如果把磁带看成 “一维” 存储磁鼓就是磁带的集合。
分析
更快的速度更好的随机 read/write 性能
磁盘*
介绍
“二维并行版” 磁带
我们可以用整个二维平面来存储 bits在二维平面上寻址需要两个维度的控制
依靠 3D 技术有望突破 100 TB 存储。 盘片 柱面 磁道 扇区 定位到 512 字节
为了读/写一个扇区 读写头需要到对应的磁道转轴将盘片旋转到读写头的位置
分析
分析 价格很低 扩展性 (容量)很高 (二维平面上铺满的磁带 多个盘片) 读写速度顺序读取较高随机读取勉强。 可靠性存在机械部件、磁头划伤盘片导致数据损坏 今天的应用场景计算机系统的主力数据存储 (海量数据便宜才是王道)
性能调优
为了读/写一个扇区
读写头需要到对应的磁道 7200rpm → 120rps → “寻道” 时间 8.3ms 转轴将盘片旋转到读写头的位置 读写头移动时间通常也需要几个 ms
通过缓存/调度等缓解
例如著名的 “电梯” 调度算法现代 HDD 都有很好的 firmware 管理磁盘 I/O 调度 /sys/block/[dev]/queuenoop deadline [cfq]
软盘
介绍
降低交换数据的成本把磁盘 (硬盘) 的读写头和盘片分开分成电脑上的读写头 (drive) 和磁盘 (disk)。
分析 价格低 扩展性 (容量)低 (暴露的存储介质) 读写速度顺序/随机读取低 可靠性低 (暴露的存储介质) 今天的应用场景躺在博物馆供人参观
存储介质坑光
除了磁介质以外还有别的办法可以存储 1-bit 吗
CD (Compact Disk)
介绍
在完美反射光线的表面上挖出 (几乎) 不反射光线的坑激光扫过表面就能读出坑的信息来。
由飞利浦 (激光碟片) 和索尼 (数字音频) 发明。 分析 价格很低 (而且很容易通过 “压盘” 复制) 扩展性 (容量)高 读写速度顺序读取速度高随机读取勉强写入速度近乎为零 (挖坑容易填坑难) 可靠性高 今天的应用场景数字媒体的分发 (即将被互联网 “按需分发” 淘汰)
”挖坑“ 技术的进展
CD (740 MB)780nm 红外激光
DVD (4.7 GB)635nm 红色激光
Blue Ray (100 GB)405nm 蓝紫色激光
“挖坑” 不只是数据存储
光刻机 CD-RW
能否克服只读的限制 方法 1 用激光器烧出一个坑来 (“刻盘”)使用持久化数据结构 (append-only) 方法 2改变材料的反光特性 PCM (Phase-change Material)How do rewriteable CDs work?
存储介质电
之前的持久存储介质都有致命的缺陷
磁机械部件导致 ms 级延迟坑 (光): 一旦挖坑填坑很困难 (CD是只读的)
最后还得靠电 (电路) 解决问题
Solid State Drive
介绍
Flash Memory “闪存”floating gate 的充电/放电实现 1-bit 信息的存储。
分析
价格低 (大规模集成电路便宜)扩展性 (容量)高 (3D 空间里每个 (x,y,z) 都是一个 bit)读写速度高(直接通过电路读写) 不讲道理的 IMBA 特性容量越大速度越快 (电路级并行)快到需要淘汰了旧的 SATA 接口标准 (NVMe) 可靠性高 (没有机械部件随便摔)。
但有一个意想不到的缺点 (大家知道是什么吗) — 寿命较短。
寿命
放电 (erase) 做不到 100% 放干净
放电数千/数万次以后就好像是 “充电” 状态了dead cell; “wear out” 必须解决这个问题 SSD 才能实用
USB Flash Disk
介绍
优盘容量大、速度快、相当便宜。很快就取代了软盘成为了人手 nnn 个的存储介质。
Compact Flash (CF, 1994)USB Flash Disk (1999, “朗科”) NAND Wear-Out 的解决软件定义磁盘
每一个 SSD 里都藏了一个完整的计算机系统 FTL: flash translation layer“wear leveling”: 软件管理那些可能出问题的 blocks。
wear leveling
维护一个 block lookup table (BLT)
然后 copy-on-write!垃圾回收、block 重分配…… U盘和SSD的区别
优盘, SD 卡, SSD 都是 NAND Flash
但软件/硬件系统的复杂程度不同效率/寿命也不同 典型的 SSD CPU, on-chip RAM, 缓存, store buffer, 操作系统 …寿命: ~1 PiB 数据写入 (~1,000 年寿命) SD 卡 SDHC 标准未规定 黑心商家一定会偷工减料 (毕竟接口完全一样) 但良心厂家依然有 ARM 芯片
一定不要用便宜的优盘保存重要数据
FTL: 性能、可靠性、安全性的难题
大家可记得修电脑引发的血案
首先(快速) 格式化是没用的如实验M5。在你理解了 FTL 之后即便格式化后写入数据 (不写满)同一个 LBA 被覆盖PBA 依然存储了数据 (copy-on-write)。
总结
本次课内容与目标
理解 1-bit 在物理世界中是如何存储的 磁、光、电和它们对应的存储设备
Takeaway messages
存储技术一直在发展 多核心处理器、GPU、TPU, … 全部都对内存带宽有巨大的需求NVM 容量超过 DRAM, 性能开始接近 DRAM, 会发生什么 例子: Intel/Micron 3D XPoint (PCM) 将来计算机系统基础/操作系统书的教科书必将被改写
