介休门户网站,短视频动画制作,php网站设置如何使用,学校网站群建设1 基本概念
1.1 文件系统和文件
1.1.1 简述
文件系统: 一种用于持久性存储的系统抽象
在存储器上: 组织, 控制, 导航, 访问和检索数据大多数计算机系统包含文件系统个人电脑, 服务器, 笔记本电脑ipod, Tivo/机顶盒, 手机/掌上电脑google可能是由一个文件系统构成的
文件: 文…1 基本概念
1.1 文件系统和文件
1.1.1 简述
文件系统: 一种用于持久性存储的系统抽象
在存储器上: 组织, 控制, 导航, 访问和检索数据大多数计算机系统包含文件系统个人电脑, 服务器, 笔记本电脑ipod, Tivo/机顶盒, 手机/掌上电脑google可能是由一个文件系统构成的
文件: 文件系统中一个单元的相关数据在操作系统中的抽象
1.1.2 文件系统的功能
分配文件磁盘空间管理文件块(哪一块属于那一个文件)管理空闲空间(哪一块是空闲的)分配算法(策略)管理文件集合定位文件及其内容命名: 通过名字找到文件的接口最常见: 分层文件系统文件系统类型(组织文件的不同方式) 提供的便利及特征保护: 分层来保护数据安全可靠性/持久性: 保持文件的持久即便发生崩溃, 媒体错误, 攻击等 1.1.3 文件
文件属性:
名称, 类型, 位置, 大小, 保护, 创建者, 创建时间, 最近修改时间...
文件头:
在存储元数据中保存了每个文件的信息保存文件的属性跟踪哪一块存储块属于逻辑上文件结构的哪个偏移
1.2 文件描述符
1.2.1 对于文件操作的一些背景
文件使用方式:
使用程序必须在使用前先打开文件
f open(name, flag);...
close(f);
内核跟踪每个进程打开的文件:
操作系统为每个进程维护一个打开文件表一个打开文件描述符是这个表中的索引
操作系统需要一些元数据来管理打开文件:
文件指针: 指向最近的一次读写位置, 每个打开了这个文件的进程都这个指针文件打开计数: 记录文件打开的次数 --- 当最后一个进程关闭了文件时, 允许将其从打开文件表中移除文件磁盘位置: 缓存数据访问信息访问权限: 每个进程访问模式信息
用户视图:
持久的数据结构
系统访问接口:
字节的集合(UNIX)系统不会关心你想存储在磁盘上的任何的数据结构
操作系统内部视角:
块的集合(块是逻辑转换单元, 而扇区是物理转换单元)块大小 扇区大小: 在UNIX中, 块的大小是4KB
举例:
当一个用户的需求为, 访问2 - 12字节空间会发生以下事情:
文件系统获取字节所在的块返回块的对应部分
如果是要写2 - 12字节的话:
获取块修改块内对应部分写回块
在文件系统中的所有操作都是在整个块空间上进行的: 即使每次只访问一个字节, 也会缓存目标数据所属的整个块, 也就是4096字节.
用户的文件访问方式(在系统层面需要知道用户的访问模式):
顺序访问: 按字节依次读取(几乎所有的访问都是这种方式)随机访问: 从中间读写不常用, 但是仍然重要. 例如, 虚拟内存支持文件: 内存也存储在文件中更加快速 - 不希望获取文件中间的内容的时候也必须先获取块内所有字节基于内容访问: 通过特征许多系统不提供此种访问方式. 相反, 数据库是建立在索引内容的磁盘访问上(需要高效的随机访问) 1.2.2 文件
文件内部结构:
无结构单词, 比特的队列简单记录结构列固定长度可变长度 复杂结构格式化的文档(如, MS Word, PDF)可执行的文件 这些结构, 对于相应的应用程序可以理解, 但是站在操作系统的角度上, 只会知道这个文件的字节流, 不会知道这个文件具体的内容.
访问权限:
多用户系统中的文件共享是很必要的, 所以需要有访问控制:
谁能够获得哪些文件的哪些访问权限访问模式: 读, 写, 执行, 删除, 列举等
文件访问控制列表(ACL)可以实现以上需求
文件实体, 权限
Unix模式
用户 | 组 | 所有人, 读 | 写 | 可执行用户ID识别用户, 表明每个用户所允许的权限及保护模式组ID允许用户组成组, 并制定了组访问权限
多用户同时访问时:
指定多用户/客户如何同时访问共享文件和过程同步算法相似因磁盘I/O和网络延迟而设计简单Unix文件系统(UFS)语义对打开文件的写入内容立即对其他打开同一文件的其他用户可见共享文件指针允许多用户同时读取和写入文件 会话语义写入内容只有当文件关闭时可见 锁一些操作系统和文件系统提供该功能 1.3 目录
文件以目录的方式组织起来, 目录是一类特殊的文件, 每个目录都包含了一张表name, pointer to file header.
目录和文件是成树形结构(早期的文件系统是扁平的, 只有一层目录)
层次命名空间
目录的典型操作:
搜索文件创建文件删除文件枚举目录重命名文件在文件系统中遍历一个路径
操作系统应该只允许内核模式修改目录:
确保映射的完整性应用程序能够读目录(如ls)文件名列表:
用文件名的线性列表实现, 包含了指向数据块的指针编程简单执行耗时Hash表 - hash数据结构的线性表减少目录搜索时间碰撞 - 两个文件名的hash值相同固定大小 路径遍历:
名字解析: 逻辑名字转换成物理资源(如文件)的过程在文件系统中: 到实际文件的文件名(路径)遍历文件目录直到找到目标文件举例: 解析/bin/ls读取root的文件头(在磁盘固定位置)读取root的数据块: 搜索bin项读取bin的大小读取bin的数据块: 搜索ls项读取ls的文件头 当前工作目录(可以提高效率, 因为已经对当前目录作了缓存)每个进程都会指向一个文件目录用于解析文件名允许用户指定相对路径来代替绝对路径 文件系统的挂载:
一个文件系统需要先挂载才能被访问一个未被挂载的文件系统被挂载在挂载点上
1.4 文件别名
有可能会两个或多个文件名关联同一个文件:
硬链接: 多个文件项指向一个文件, 这个多个文件的文件内容都是同一文件软链接: 以快捷方式指向其他文件, 这个文件的文件内容是另一个文件的文件路径通过存储真实文件的逻辑名称来实现
如果删除一个有别名的文件会如何:
如果用的软链接方式, 这个别名将成为一个悬空指针如果用的硬链接方式, 只是引用计数减少了1
Backpointers方案:
每个文件有一个包含多个backpointers的列表, 所以删除所有的backpointersBackpointers使用菊花链管理
添加一个间接层: 目录项数据结构
链接 - 已存在文件的另外一个名字(指针)链接处理 - 跟随指针来定位文件
这个别名机制会存在潜在的问题 -- 循环, 也就是有可能树状结构变成环状, 需要保证没有环:
只允许到文件的链接, 不允许在子目录的链接每增加一个新的链接都要用循环检测算法确定是否合理
更多实践:
限制路径可遍历文件目录的数量
1.5 文件系统种类
磁盘文件系统文件存储在数据存储设备上, 如磁盘例如: FAT, NTFS, ext2/3, ISO9660, 等数据库文件系统文件根据其特征是可被寻址(辨识)的例如: WinFS日志文件系统记录文件系统的修改/事件例如: Journaling file system网络/分布式文件系统例如: NFS, SMB, AFS, GFS 分布式文件系统: 分布式文件系统一大特点就是文件可以通过网络被共享: 文件位于远程服务器客户端远程挂载服务器文件系统标准系统文件访问被转换成远程访问标准文件共享协议: NFS for Unix, CIFS for Windows分布式文件系统的问题: 客户端和客户端上的用户辨别起来很复杂例如, NFS是不安全的一致性问题特殊/虚拟文件系统
2 虚拟文件系统
文件系统是分层结构的:
上层: 虚拟(逻辑)文件系统底层: 特定文件系统模块
设计虚拟文件系统的目的:
对所有不同文件系统的抽象
虚拟文件系统功能:
提供相同的文件和文件系统接口管理所有文件和文件系统关联的数据结构高效查询例程, 遍历文件系统与特定文件系统模块的交互
抛开差异性, 一个基本的文件系统应该包含的数据结构有:
卷控制块(Unix: superblock)每个文件系统一个文件系统详细信息块, 块大小, 空余块, 计数/指针等文件控制块(Unix: vnode or inode)每个文件一个文件详细信息许可, 拥有者, 大小, 数据库位置等目录节点(Linux: dentry)每个目录项一个(目录和文件)将目录项数据结构及树型布局编码或树型数据结构指向文件控制块, 父节点, 项目列表等3 数据块缓存
数据缓存有以下几种情况:
数据块按需读入内存提供read()操作预读: 预选读取后面的数据块数据块使用后被缓存假设数据将会再次被使用写操作可能被缓存和延迟写入两种数据块缓存方式普通缓冲区缓存页缓存: 统一缓存数据块和内存页操作系统希望将硬盘的缓存同内存的页式管理结合在一起, 实现一个基于分页的缓存机制, 使得硬盘的数据可以更好的被上层应用所使用:
分页要求当需要一个页时才将其载入内存支持存储一个页(在虚拟地址空间中)可以映射到一个本地文件中(在二级存储中)文件数据块的页缓存:
在虚拟内存中文件数据块被映射成页文件的读/写操作被转换成对内存的访问可能导致缺页和/或设置成脏页问题: 页置换 - 从进程或文件页缓存中?
4 打开文件的数据结构
打开文件就是把硬盘里面相应文件的文件控制块的内容读到内存中来, 然后把相关信息放入打开文件列表中, 其中专门设置了一个index, 把index作为fd返回给应用程序. 接下来应用程序都是基于这个fd对文件进行操作, 所以有以下.
打开文件描述:
每个被打开的文件一个文件状态信息目录项, 当前文件指针, 文件操作设置等
打开文件表:
一个进程一个一个系统级的每个卷控制块也会保存一个列表所以如果有文件被打开将不能被卸载
因为文件是存在硬盘中, 所有对该文件有操作权限的进程都可以进行该文件的相应操作, 所以可能会出现多进程同时访问一个文件的情况. 所以会存在用锁来进行同步互斥操作:
一些操作系统和文件系统提供该功能调节对文件的访问强制和劝告强制: 根据锁保持情况和需求拒绝访问劝告: 进程可以查找锁的状态来决定怎么做5 文件分配
大多数文件都很小, 所以需要对小文见提供强力的支持, 所以块的空间不能太大. 然而部分文件非常大, 所以也必须支持大文件(64 - bit偏移), 大文件访问需要相当高效.
5.1 为文件分配数据块
分配方式:
连续分配链式分配索引分配
评价分配方式指标:
高效: 如存储利用(外部碎片)表现: 如访问速度
5.2 分配数据块方式
5.2.1 连续分配
文件头(文件控制块)指定起始块和长度.
分配策略(与连续内存分配类似):
最先匹配最佳匹配...
优势:
文件读取表现好高效的顺序和随机访问
劣势:
碎片文件增长问题
5.2.2 链式分配
文件以数据块链表方式存储, 文件头包含了到第一块和最后一块的指针
优势:
创建, 增大, 缩小很容易没有碎片
劣势:
不可能进行真正的随机访问可靠性(破坏了一个链)
5.2.3 索引分配
为每个文件创建一个名为索引数据块的非数据数据块, 到文件数据块的指针列表, 文件头包含了索引数据块.
优势:
创建, 增大, 缩小很容易没有碎片支持直接访问
劣势:
当文件很小时, 存储索引的开销如何处理大文件?
针对大文件的索引块分配:
链式索引块多级索引块
大文件文件头包含13个指针:
10个指针指向数据块第11个指针指向间接数据块第12个指针指向二重间接数据块第13个指针指向三重间接数据块
这样做的影响:
提高了文件大小限制阈值动态分配数据块, 文件扩展很容易小文件开销小只为大文件分配间接数据块, 大文件在访问间接数据块是需要大量的查询
6 空闲空间列表
空闲空间列表用来跟踪在存储中的所有未分配的数据块, 空闲空间列表存储在哪里? 空闲空间列表的最佳数据结构是什么样的?
6.1 空闲空间列表的形式
位图:
可以用位图代表空闲数据块列表(例如1111000010010101011101), 如果位图的第i位为0, 表明数据块i是空闲的, 反之则已分配.
位图的方式使用简单但是可能会是一个big vector:
160GB disk - 40M blocks - 5MB worth of bits然而, 如果空闲空间在磁盘中均匀分布, 那么在找到0之前需要扫描: 表示磁盘上数据块的总数, 表示空闲块的数目
用这种方式, 需要保证一致性, 也就是说, 要使用位图形式的空闲空间列表的话, 需要先把其读入内存, 但是如果位图发生变化, 需要保证内存中和硬盘中位图的一致性, 即需要保护:
指向空闲列表的指针位图必须保存在磁盘上在内存和磁盘拷贝可能有所不同不允许在内存中的状态为而在磁盘中解决在磁盘上设置分配在内存中设置6.2 其他方式
链式列表分组列表...
7 多磁盘管理 - RAID
分区: 硬件磁盘的一种适合操作系统指定格式的划分
卷: 一个拥有一个文件系统实例的可访问的存储空间
通常常驻在磁盘的单个分区上
单磁盘, 读写速度较慢, 使用多个并行磁盘来增加:
吞吐量(通过并行)可靠性和可用性(通过冗余)
RAID - 冗余磁盘阵列
各种磁盘管理技术RAID levels: 不同RAID分类(如RAID - 0, RAID - 1, RAID - 5)
实现:
在操作系统内核: 存储/卷管理RAID硬件控制器(I/O)
RAID优势:
数据块分成多个子块, 存储在独立的磁盘中(和内存交叉类似)通过更大的有效块大小来提供更大的磁盘带宽可靠性成倍增长读取性能线性增加(向两个磁盘写入, 从任何一个读取)
8 磁盘调度
磁盘调度是在OS层面通过重新组织I/O请求顺序来有效减少磁盘访问开销.
磁盘访问的开销是很大的, 和内存访问的速度差了好几个量级:
读取或写入时, 磁头必须被定位在期望的磁道, 并从所期望的扇区开始.寻道时间: 定位到期望的磁道所花费的时间旋转延迟: 从扇区的开始处到到达目的处所花费的时间平均旋转延迟时间 磁盘旋转一周时间的一半计算磁盘的I/O传输时间有以下几个参数: 访问时间 寻道时间 旋转延迟 传输时间 传输的比特数 磁道上的比特数 磁盘转数
有: 其中, 寻道时间是性能上区别的原因, 对单个磁盘, 会有一个I/O请求数目, 如果请求是随机的, 那么表现会很差.
具体的调度策略有:
FIFO, 先进先出按顺序处理请求公平对待所有进程在有很多进程的情况下, 接近随机调度的性能最短服务优先选择从磁臂当前位置需要移动最少的I/O请求总是选择最短寻道时间容易使得进程饥饿SCAN方法磁臂在一个方向上移动, 满足所有未完成的请求, 知道磁臂到达该方向上最后的磁道调换方向有时被成为elevator algorithm优化1(C-SCAN): 限制了仅在一个方向上扫描当最后一个磁道也被访问过了后, 磁臂返回到磁盘的另外一端再次进行扫描优化2(C-LOOK): C-SCAN的改进版本磁臂先到达该方向上最后一个请求处, 然后立即反转N-Step-SCAN在SSTF, SCAN及CSCAN几种调度算法中, 都可能出现磁臂停留在某处不动的情况, 例如进程反复请求对某一磁道的I/O操作. 我们把这一现象成为磁臂粘着.N-Step-SCAN算法是将磁盘请求队列分成若干个长度为N的子队列, 磁盘调度将按照FCFS算法依次处理这些子队列. 而每处理一个队列时又是按SCAN算法, 对一个队列处理完后, 再处理其他队列当正在处理某子队列时, 如果又出现新的磁盘I/O请求, 便将新请求进程放入其他队列, 这样就可避免出现粘着现象FSCAN: FSCAN算法实质上是N步SCAN算法的简化, 即FSCAN只将磁盘请求队列分成两个子队列. 一个是由当前所有请求磁盘I/O的进程形成的队列. 由磁盘调度按SCAN算法进行处理. 在处理某队列期间, 将新出现的所有请求磁盘I/O的进程, 放入另一个等待处理的队列. 这样, 所有的新请求都将被推迟到下一次扫描时处理.
