更合高明网站建设,dw制作个人网站的具体步骤,网站通栏广告代码,wordpress侧边MinIO
一、概述
1.1 minIO是什么#xff1f;
MinIO是专门为海量数据存储、人工智能、大数据分析而设计的对象存储系统。#xff08;早前流行的还有FastDFS#xff09;
据官方介绍#xff0c;单个对象最大可存储5T#xff0c;非常适合存储海量图片、视频、日志文件、备…MinIO
一、概述
1.1 minIO是什么
MinIO是专门为海量数据存储、人工智能、大数据分析而设计的对象存储系统。早前流行的还有FastDFS
据官方介绍单个对象最大可存储5T非常适合存储海量图片、视频、日志文件、备份数据和容器、虚拟镜像等。
采用golang语言编译客户端和用户端交互采用http和https用户协议
1.2 为什么选择minIO
安装部署简单自带UI界面操作简单开箱即用性能优秀对象读写速度极快支持云原生容器化部署支持全部主流的SDK支持java py等兼容亚马逊S3 API便于后续继续迁移到更大的云厂商官方文档很完整
1.3 基础概念
1.3.1 Object 存储对象
存储到minIO的基本对象包括文件、字节流、任何类型…
1.3.2 Buckets 桶
对象和关联配置的分组。
不同的项目可以使用Bucket进行区分每个项目中不同的功模块还可以在项目内部创建不同的目录
1.3.3 cluster 集群
汇集到单个存储资源中的一组驱动器和一个或多个 MinIO 服务器进程。See also: tenant.
1.3.4 Drive 驱动
即存储数据的磁盘在minIO启动时以参数的方式传入。
minIO所有的对象数据都会存储在Drive里。
1.3.5 Set 集合
即一组Drive的集合分布式部署根据集群规模自动划分一个或多个Set——每个Set的Drive分布在不同位置。
一个对象存储在一个Set上。一个集群又划分多个Set一个Set包含的Drive数量是固定的默认由系统根据集群规模自动计算得出。一个Set中的Drive尽可能的分布在不同的节点上。
1.3.3 Console 控制台
用于与 MinIO 部署或租户交互的图形用户界面 GUI。
其他概念具体看官方文档https://www.minio.org.cn/docs/minio/container/glossary.html#
1.4 纠删码EC Erasure Code
官方解释 : MinIO 纠删码是一种数据冗余和可用性功能允许 MinIO 部署在集群中多个驱动器或节点丢失的情况下自动动态重建对象。
纠删码提供对象级修复其开销显着低于 RAID 或复制等相邻技术。 简单理解 minio存储文件会通过纠删码进行冗余。 比如一个原文件进行存储后会经过纠删码优化压缩后存储到其他位置。 开启纠删码模式后miniIO可以实现低冗余且磁盘损坏高容忍标准且最高的数据冗余系数为2即存一个1m的文件实际占用空间为2m。 具体的原理先不展开 二、MinIO基于Docker快速部署 这里参考的版本较早接下来会结合官方最新的英文文档记录部署流程。 英文https://min.io/docs/ 中文https://www.minio.org.cn/docs/cn/minio/kubernetes/upstream/index.html 2.0 快速记录指令
# 镜像拉取
docker pull minio/minio;# 创建环境变量文件
touch /etc/default/minio
vi /etc/default/minio# 输入账号密码
MINIO_ROOT_USERminioadmin
MINIO_ROOT_PASSWORD自己改密码MINIO_VOLUMES/mnt/data#保存# 启动容器
docker run \-p 9001:9000 -p 9091:9090 \-v 路径也要自己设置:/mnt/data \-v /etc/default/minio:/etc/config.env \-e MINIO_CONFIG_ENV_FILE/etc/config.env \--name minio \minio/minio server --console-address :9090docker-compose
version: 3
services:minio_local1:image: minio/miniocommand: server --console-address :9090container_name: minioenvironment:MINIO_CONFIG_ENV_FILE: /etc/config.envports:- 9001:9000- 9091:9090volumes:- ./data:/mnt/data- /etc/default/minio:/etc/config.env
2.1 拉取最新的稳定版镜像
拉取镜像
docker pull minio/minio2.2 创建环境变量文件
在 处创建环境变量文件/etc/default/minio。
vi /etc/default/minio需要配置的内容如下
MINIO_ROOT_USERmyminioadmin
MINIO_ROOT_PASSWORDminio-secret-key-change-meMINIO_VOLUMES/mnt/data# MINIO_SERVER_URLhttp://minio.example.net:9000基本的注释如下
MINIO_ROOT_USER 和 MINIO_ROOT_PASSWORD 设置了 MinIO 服务器的 root 帐户。该用户拥有最高权限。没有配置时默认值为minioadmin:minioadmin。当然官方推荐不使用默认值无论任何环境。MINIO_VOLUMES 设置用于 MinIO 服务器的存储卷或路径。MINIO_SERVER_URL 设置与 MinIO 服务器一起使用的本地计算机的主机名。MinIO 假设您的网络控制层可以正确将此主机名解析为本地计算机手动配置MINIO_SERVER_URL 请将该值替换为本地计算机的正确主机名和 MinIO 服务器的端口否则默认为 9000。
配置后如下 2.3 创建并运行容器
docker运行指令
docker run -dt \-p 9001:9000 -p 9091:9090 \-v PATH:/mnt/data \-v /etc/default/minio:/etc/config.env \-e MINIO_CONFIG_ENV_FILE/etc/config.env \--name minio_local1 \minio/minio server --console-address :9090成功启动打印日志可以查看 访问9090端口登陆控制台即可查看到 三、Minio Client 快速入门指南
MC和linux指令类似为lscatcpmirrordifffind等UNIX命令提供了一种替代方案
ls 列出文件和文件夹。
mb 创建一个存储桶或一个文件夹。
cat 显示文件和对象内容。
pipe 将一个STDIN重定向到一个对象或者文件或者STDOUT。
share 生成用于共享的URL。
cp 拷贝文件和对象。
mirror 给存储桶和文件夹做镜像。
find 基于参数查找文件。
diff 对两个文件夹或者存储桶比较差异。
rm 删除文件和对象。
events 管理对象通知。
watch 监听文件和对象的事件。
policy 管理访问策略。
session 为cp命令管理保存的会话。
config 管理mc配置文件。
update 检查软件更新。
version 输出版本信息。3.1 安装Minio Client
64-bit Intel
curl https://dl.min.io/client/mc/release/linux-amd64/mc \--create-dirs \-o $HOME/minio-binaries/mcchmod x $HOME/minio-binaries/mc
export PATH$PATH:$HOME/minio-binaries/mc --help更多安装方式https://min.io/docs/minio/linux/reference/minio-mc.html?refdocs 3.2 配置MC连接到minIO
# 查看当前已配置的服务器
mc config host ls# 添加服务器配置
mc config host add ALIAS YOUR-S3-ENDPOINT YOUR-ACCESS-KEY YOUR-SECRET-KEY API-SIGNATURE# 举个例子 mc config host add minio-local1 http://localhost:9000 通行码 秘钥提示如下即可成功输入指令测试
3.3 几个基础指令 mc的大部分指令都有很完整的案例使用–help参数即可查看详细 3.3.1 上传下载文件
ls-查看目录cp- 复制文件下载文件上传文件mv 移动文件rm 删除文件
举个例子
mc ls minio-local1/first-bucket
# 下载文件
mc cp minio-local1/first-bucket/pom.xml /home
# 上传文件
mc cp docker-compose.yml minio-local1/first-bucket3.3.2 Bucket-桶管理 mb 创建桶 rb 删除桶 要强制删除 需要加上参数 --force 【慎用】 du 查询使用情况
举个例子
# 创建几个桶
rootVM-12-17-ubuntu:/home/nexus3# mc mb minio-local1/new-bucket
Bucket created successfully minio-local1/new-bucket.
rootVM-12-17-ubuntu:/home/nexus3# mc mb minio-local1/new-bucket2
Bucket created successfully minio-local1/new-bucket2.
rootVM-12-17-ubuntu:/home/nexus3# mc mb minio-local1/new-bucket3
Bucket created successfully minio-local1/new-bucket3.
rootVM-12-17-ubuntu:/home/nexus3# mc mb minio-local1/new-bucket4
Bucket created successfully minio-local1/new-bucket4.# 删除几个桶rootVM-12-17-ubuntu:/home/nexus3# mc rb minio-local1/new-bucket4
Removed minio-local1/new-bucket4 successfully.
rootVM-12-17-ubuntu:/home/nexus3# mc rb minio-local1/new-bucket2
Removed minio-local1/new-bucket2 successfully.3.99 MC Admin使用
MinIO 客户端 “mc” 命令行工具提供命令 用于在 MinIO 部署上执行管理任务的命令。
现在一般用界面代替不详细看了 官方文档地址https://min.io/docs/minio/linux/reference/minio-mc-admin.html 四、TODO 分布式集群部署
4.1、MinIO的EC码和文件存储结构
4.1.1 EC 快速理解
Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。
即便您丢失一半数量N/2的硬盘您仍然可以恢复数据。
4.1.2 什么是Erasure Code
纠删码是一种恢复丢失和损坏数据的数学算法 Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。
这就意味着如果是12块盘一个对象会被分成6个数据块、6个奇偶校验块你可以丢失任意6块盘不管其是存放的数据块还是奇偶校验块你仍可以从剩下的盘中的数据进行恢复是不是很NB感兴趣的同学请翻墙google。
4.1.3 为什么EC有用
纠删码的工作原理和RAID或者复制不同像RAID6可以在损失两块盘的情况下不丢数据而Minio纠删码可以在丢失一半的盘的情况下仍可以保证数据安全。
而且Minio纠删码是作用在对象级别可以一次恢复一个对象回复速度很快而RAID是作用在卷级别数据恢复时间很长。
Minio对每个对象单独编码存储服务一经部署通常情况下是不需要更换硬盘或者修复。
Minio纠删码的设计目标是为了性能和尽可能的使用硬件加速。
