响应式布局模板网站免费下载,建设摩托车网站,优化模型数学建模,网络推广渠道有哪些方式最近被安排开发文件存储微服务#xff0c;要求是能够通过配置来无缝切换我们公司内部研发的文件存储系统#xff0c;FastDFS#xff0c;MongDb GridFS#xff0c;阿里云OSS#xff0c;腾讯云OSS等。根据任务紧急度暂时先完成了通过配置来无缝切换内部文件系统以及FastDFS。… 最近被安排开发文件存储微服务要求是能够通过配置来无缝切换我们公司内部研发的文件存储系统FastDFSMongDb GridFS阿里云OSS腾讯云OSS等。根据任务紧急度暂时先完成了通过配置来无缝切换内部文件系统以及FastDFS。至于MongDb GridFS阿里云OSS腾讯云OSS等则后期需要的话再开发对应的提供者程序即可。作者依乐祝首发公众号DotNetCore实战原文链接 https://www.cnblogs.com/yilezhu/p/12797543.html今天主要是对开发过程以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结。希望对想要自建分布式文件系统的朋友有所帮助。什么是FastDFS这里先简单介绍下分布式文件存储系统。FastDFS 是一个开源的高性能分布式文件系统DFS。 它的主要功能包括文件存储文件同步和文件访问以及高容量和负载平衡。主要解决了海量数据存储问题特别适合以中小文件建议范围4KB file_size 500MB为载体的在线服务。FastDFS 系统有三个角色跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。 Tracker Server跟踪服务器主要做调度工作起到均衡的作用负责管理所有的 storage server和 group每个 storage 在启动后会连接 Tracker告知自己所属 group 等信息并保持周期性心跳。 Storage Server存储服务器主要提供容量和备份服务以 group 为单位每个 group 内可以有多台 storage server数据互为备份。 Client客户端上传下载数据的服务器也就是我们自己的项目所部署在的服务器。FastDFS开源地址https://github.com/happyfish100FastDFS的单机版安装这里先简单介绍下单机版的安装跟着做你也可以从0还是搭建一个单机版的FastDFS。集群版也是在单机版基础上安装的。第一步 安装相关工具如果已经安装和wget可以跳过这一步yum -y install vim wget unzip
-y不经过询问直接同意所有操作vimlinux上面一个比较好用的文本编辑软件wgetlinux上文件下载工具第二步 安装相关依赖yum install -y gcc-c perl
第三步 安装libfastcommon大家可以直接到github上面先找到ibfastcommon。这里为了大家方便查找。我已经把把链接给大家整理好了libfastcommon这里大家可以先下载到本地然后再传至服务器上面。这里我使用的是FinalShell。具体操作就不在这里详细说了。这里目录为/root/fastdfs/下载下来的是zip格式压缩包然后我们解压zipunzip libfastcommon-master.zip
进入到刚刚解压的文件里面cd libfastcommon-master/
进行编译安装./make.sh ./make.sh install
如上图所示表示安装成功第四步 安装FastDFS同样这里我用的也是github上面的FastDFS。为此我已经帮大家把相关的链接整理到下方了fastdfs这里可以使用像上面libfastcommon一样的方式先下载到自己的电脑上面再上传至服务器。目录为/root/fastdfs/下面我们先进行解压unzip fastdfs-master.zip
进入上面的解压目录然后编译安装./make.sh ./make.sh install
第五步 修改配置文件切换到配置文件目录下cd /etc/fdfs/
查看所有配置文件使用ls命令就行了去除所有的.sample后缀cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp storage_ids.conf.sample storage_ids.conf
cp tracker.conf.sample tracker.conf
我们再次使用ls命令查看可以看到我们已经去除了所有的.sample后缀下一步创建文件夹分别创建clientstoragetracker文件夹mkdir -p /home/software/fastfdfs/data/client
mkdir -p /home/software/fastfdfs/data/storage
mkdir -p /home/software/fastfdfs/data/tracker
client.config配置下面我们开始配置文件修改首先修改的是clietn.conf,使用vim编辑器进行文件的编辑vim client.conf
使用 :set number 显示行数修改第11行确定日志文件的存储路径这里用我们刚刚创建client文件夹路径base_path /home/software/fastdfs/data/client修改第22 行tracker的地址与端口根据实际情况进行修改我的是192.168.1.14。这里貌似有两个tracker_server,毕竟是单机版部署因此我这里注释了一个tracker_server 192.168.1.14:22122修改号之后记得保存修改storage.conf修改下面我们修改storage.conf。同上是用vim进行修改首先我们修改下11行的分组设置group_name group1接下来修改49行的基础路径这里也用上面我们已经创建的路径base_path /home/software/fastdfs/data/storage修改第129行的storage路径。store_path0 /home/software/fastdfs/data/storage注意这里提示下存储路径的顺序很重要不要弄乱了基础路径应该独立于存储路径即尽量让这两个路径不一样。这里我设置了一样修改第145行 配置tracker的IP地址与端口。至于如何填写这个地址上面配置client.conf的时候我们就已经说过了。tracker_server 192.168.1.14:22122tracker.conf 配置现在修改tracker.conf文件修改第23行修改tracker的基础路径。这个路径的文件夹我们刚刚在上面已经创建过了base_path /home/software/fastdfs/data/tracker修改第57行 归属组设置store_group group1第六步 启动tracker 与storage启动trackerfdfs_trackerd /etc/fdfs/tracker.conf start
启动storagefdfs_storaged /etc/fdfs/storage.conf start
测试是否启动成功我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
如上图所示表示上传成功。第七步 安装nginx访问图片这里由于服务器已经安装了nginx因此需要在现有的nginx的版本基础上安装新的fastdfs的模块。安装方法可能略有不同首先查看下nginx的版本nginx -V
这里需要注意一下如果你服务器上没有安装过nginx则需要先安装nginx的依赖然后再进行安装yum -y install gcc-c zlib-devel pcre-devel
如下图所示因此我们需要下载对应版本的源码wget http://nginx.org/download/nginx-1.16.1.tar.gz
解压安装包tar zxvf nginx-1.14.0.tar.gz
下载nginx的fastdfs模块这里我已经帮大家把这个项目github地址整理好了。astdfs-nginx-module这这里我们可以先下载到自己电脑上再上传服务器。进行解压unzip fastdfs-nginx-module-master.zip
这里由于我们已经安装了nginx因此需要备份之前的nginx防止出现问题进行还原mv /usr/sbin/nginx /usr/sbin/nginx.back
cp -rf /etc/nginx/ /etc/nginx.back
切换到nginx压缩包的解压目录里面去cd nginx-1.16.1
进行配置检测并且添加模块./configure --prefix/etc/nginx/ --sbin-path/usr/sbin/nginx --add-module/root/fastdfs/fastdfs-nginx-module-master/src/
--prefix : nginx的安装目录--add-module解压后模块所在目录记得要加上src执行如下命令进行nginx的重新编译,如果之前已经安装了nginx则不能执行install否则会覆盖之前的配置文件,也可以在安装后再把之前的配置覆盖过来。make make install
拷贝编译后的nginx到原来的安装目录cp objs/nginx /usr/sbin/nginx
重启nginxsystemctl restart nginx
//第二种方式
nginx -s reload//第一次安装,直接输入nginx
nginx
切换至fastdfs的解压包里面去cd /root/fastfdfs/fastdfs-master
进行文件的复制cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/
切换至fastdfs-nginx-module的解压目录下面cd /root/fastdfs/fastdfs-nginx-module-master
进行配置文件的复制cp src/mod_fastdfs.conf /etc/fdfs/
mod_fastdfs.conf配置修改/etc/fdfs下面的mod_fastdfs.conf配置文件vim /etc/fdfs/mod_fastdfs.conf
修改 40行更改tracker的ip地址与端口tracker_server192.168.1.14:22122修改48行的group_name修改53行 url地址中是否包含组名如果链接中包含group则需要设置为trueurl_have_group_name true
修改62行 storage所在目录store_path0/home/software/fastdfs/data/storage
保存修改。nginx修改这里注意每个笨的配置文件存储的方式不同此步骤可能有所不同。进行nginx配置文件的修改我们可以切换到nginx的安装目录下面。也可以直接输入如下命令注意这里我的nginx版本为1.16.1配置文件为conf.d下面的所有的*.conf文件。因此我的输入命令如下vim /etc/nginx/conf.d/default.conf
进行nginx.conf的修改如下图所示 server {listen 8888;server_name 192.168.1.93;location ~/group([0-9])/M00 {#root html;#index index.html index.htm;root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;}}
多个group的配置当配置多个组且mod_fastdfs.conf 里面指定了url_have_group_name true 时配置方式:location ~ /group([0-9]) /M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;
}
比如:在group1上的 nginx 的nginx.conf 配置是location /group1/M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;
}
比如:在group2上的 nginx 的nginx.conf 配置是location /group2/M00 {root /home/software/fastdfs/data/storage/data;ngx_fastdfs_module;
}
查看nginx的配置文件是否有效nginx -t显示 is ok没有任何问题现在启动nginx。这里我配置为开机自动启动systemctl restart nginx
// 第二种方式
nginx -s reload
依照上面的方式我们重新上传一张图片。并进行访问测试是否启动成功我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
上传成功访问下面的地址路径说明group1表示这张图片被保存在了哪个组当中M00代表磁盘目录如果电脑只有一个磁盘那就只有M00 如果有多个磁盘那就M01、M02...等等。00/00代表磁盘上的两级目录每级目录下是从00到FF共256个文件夹两级就是256*256个。wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存储到storage上的test.jpeg被重命名的名字这样做的目的是为了防止图片名字重复。我们到单机版的数据目录下查看一下是否有我们刚才上传的图片发现是有的返回的图片信息中明确说明了存储在了group1下面。FastDFS集群版的安装这里集群版的安装是在单机版的基础上安装的。机器准备IP作用模块192.168.1.14storage(group1) tracker1fastdfsnginxfastdfs-nginx-module192.168.1.15storage(group1)fastdfsnginxfastdfs-nginx-module192.168.1.16storage(group2) tracker2fastdfsnginxfastdfs-nginx-module192.168.1.93storage(group2)fastdfsnginxfastdfs-nginx-module192.168.1.197VIP对外提供服务nginx安装步骤软件准备在所有服务器上创建如下目录用来存储需要安装的软件包mkdir -p ~/fastdfs/
在tracker1上下载所需要的软件安装包并放在如下目录下~/fastdfs/
查看如下所示进入对应的文件夹并拷贝对应的文件到其他几台服务器上scp ./* root192.168.1.15:~/fastdfs/
scp ./* root192.168.1.16:~/fastdfs/
scp ./* root192.168.1.93:~/fastdfs/
scp ./* root192.168.1.197:~/fastdfs/
在storage服务器及tracker服务器都创建如下的文件夹用来存放fastdfs的数据及日志文件mkdir -p /home/software/fastfdfs/client
mkdir -p /home/software/fastfdfs/storage
mkdir -p /home/software/fastfdfs/tracker
在所有服务器上执行·如下命令安装相关工具yum -y install vim wget unzip
在所有sotrage及tracker服务器上执行如下命令安装相关依赖yum install -y gcc-c perl
安装这些操作需要在所有storage及tracker服务器上都进行操作storage及tracker服务器安装libfastcommon在需要安装fastdfs的storage及tracker服务器上安装libfastcommon这里我们进入安装文件目录~/fastdfs/执行如下命令解压并编译安装unzip libfastcommon-master.zip
cd libfastcommon-master/
./make.sh ./make.sh install
出现如下图所示则表示安装成功storage及tracker服务器安装fastdfs在需要安装fastdfs的storage及tracker服务器上安装fastdfs这里我们进入安装文件目录~/fastdfs/执行如下命令解压并编译安装unzip fastdfs-master.zip
cd fastdfs-master/
./make.sh ./make.sh install
cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/
进行文件的复制cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/
修改配置文件切换到配置文件目录并执行如下命令去除所有的.sample后缀cd /etc/fdfs/
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp storage_ids.conf.sample storage_ids.conf
cp tracker.conf.sample tracker.conf
修改client.config配置需要测试的时候才需要配置此client.conf配置vim client.conf
修改内容如下11 base_path /home/software/fastdfs/client
22 tracker_server 192.168.1.14:22122
vim修改storage.conf 修改内容如下11 group_name group1
49 base_path /home/software/fastdfs/storage
129 /home/software/fastdfs/data/storage
145 tracker_server 192.168.1.14:22122
vim修改tracker.conf配置这里只有tracker服务器才需要配置此配置及 14跟16修改内容如下23 base_path /home/software/fastdfs/tracker
57 store_group group1
安装nginx只有sotrage服务器及vip服务器需要安装nginx用来提供文件的访问在安装nginx前需要安装相关的依赖并下载对应的源码执行如下命令。此文件也保存到文件安装目录yum -y install gcc-c zlib-devel pcre-devel
wget http://nginx.org/download/nginx-1.16.1.tar.gz
tar zxvf nginx-1.14.0.tar.gz
解压nginx的fastdfs模块,并进入到文件夹下进行配置文件的复制nginx的fastdfs模块在所有storage服务器上进行安装unzip fastdfs-nginx-module-master.zip
cd ~/fastdfs/fastdfs-nginx-module-master
cp src/mod_fastdfs.conf /etc/fdfs/
进入到nginx源码目录进行配置检测并添加对应的fastdfs模块。然后进行nginx的安装./configure --prefix/etc/nginx/ --sbin-path/usr/sbin/nginx --add-module/root/fastdfs/fastdfs-nginx-module-master/src/
make make install
#如有需要可以拷贝nginx到sbin目录
cp objs/nginx /usr/sbin/nginx
mod_fastdfs.conf配置vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件40 tracker_server192.168.1.14:22122
48 group_namegroup1
53 url_have_group_name true
62 store_path0/home/software/fastdfs/storage
nginx配置修改只有sotrage服务器及vip服务器需要安装group1的服务器需要新增如下server配置root路径为storage的data路径 server {listen 8888;server_name 192.168.1.93;location /group1/M00 {#root html;#index index.html index.htm;root /home/software/fastdfs/storage/data;ngx_fastdfs_module;}}
group2的服务器上新增如下server配置root路径为storage的data路径 server {listen 8888;server_name 192.168.1.93;location /group2/M00 {#root html;#index index.html index.htm;root /home/software/fastdfs/storage/data;ngx_fastdfs_module;}}
vip服务器的nginx配置如下#设置 group1 的服务器
upstream fdfs_group1 {server 192.168.1.14:8888 weight1 max_fails2 fail_timeout30s;server 192.168.1.15:8888 weight1 max_fails2 fail_timeout30s;
}#设置 group2 的服务器
upstream fdfs_group2 {server 192.168.1.16:8888 weight1 max_fails2 fail_timeout30s;server 192.168.1.93:8888 weight1 max_fails2 fail_timeout30s;
}server {listen 80;server_name 192.168.1.197;#charset koi8-r;#access_log /var/log/nginx/host.access.log main;#设置默认路径location / {root html;index index.html index.htm;}#设置 group 的负载均衡参数location /group1/M00 {proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_pass http://fdfs_group1;}location /group2/M00 {proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_pass http://fdfs_group2;}
}
查看nginx的配置文件是否有效nginx -t
显示 is ok没有任何问题现在启动nginx。这里我配置为开机自动启动# 服务形式的nginx重启方式
systemctl restart nginx
//第二种方式
nginx -s reload//第一次安装,直接输入nginx
nginx
依照上面的方式我们重新上传一张图片。并进行访问测试是否启动成功我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
上传成功访问下面的地址asp.net core操作FastDFS这里的微服务是基于abp vnext的。只是在应用层进行相关的服务开发。这里需要说明下这里我是使用工厂模式根据配置来创建对应的文件操作提供者进而对对应的文件服务器上的文件进行操作的。这里我只摘录FastDFS相关的代码供大家参考。第一步 安装对应的nuget包这里我用的是更新时间相对比较近下载量相对比较多的作者的nuget包Install-Package FastDFSNetCore -Version 1.2.5
第二步编写一个FastDFSProvider具体的代码如下所示 /// summary/// 功能介绍:FastDFS提供者/// 作者:lzhu/// 创建日期:2020/4/23 19:54:35/// /summary
public class FastDFSProvider : IStorageProvider, ITransientDependency{/// summary/// 提供程序名称/// /summarypublic string ProviderName FastDFS;//配置private readonly FastDFSConfig _fastDFSConfig;/// summary/// 构造函数/// /summary/// param namefastDFSConfig注入配置数据/parampublic FastDFSProvider(FastDFSConfig fastDFSConfig){_fastDFSConfig fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig));string[] trackers fastDFSConfig.Trackers.Split(,, StringSplitOptions.RemoveEmptyEntries);var trackerIPs new ListIPEndPoint();foreach (var onetracker in trackers){trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port));}ConnectionManager.Initialize(trackerIPs);}/// summary/// 通过文件名删除对应的文件/// /summary/// param nameobjectName对象名称/param/// param namegroupName分组名称/param/// returns是否成功/returnspublic async Taskbool DeleteObjectByNameAsync(string objectName, string groupName ){RestoreFileName(objectName, out string fileName, out groupName);await FastDFSClient.RemoveFileAsync(groupName, fileName);return true;}/// summary/// 获取网关连接/// /summary/// returns网关连接/returnspublic Taskstring GetGateWayUrl() Task.FromResult(_fastDFSConfig.GateWayUrl);/// summary/// 获取对象二进制数组/// /summary/// param namegroupName组名称/param/// param nameobjectName对象名称/param/// returns对象的二进制数组/returnspublic async Taskbyte[] GetObjectByteAsync(string objectName, string groupName ){RestoreFileName(objectName, out string fileName, out groupName);var storageNode await GetStorageNodeAsync(groupName);return await FastDFSClient.DownloadFileAsync(storageNode, fileName);}/// summary/// 获取对象流/// /summary/// param namegroupName组名称/param/// param nameobjectName对象名称/param/// returns对象流/returnspublic async TaskStream GetObjectStreamAsync(string objectName, string groupName ){RestoreFileName(objectName, out string fileName, out groupName);var storageNode await GetStorageNodeAsync(groupName);FDFSFileInfo fileInfo await FastDFSClient.GetFileInfoAsync(storageNode, fileName);Stream stream new MemoryStream();int limit 1024 * 100;//每次获取100KB的数据//如果文件大小大于100KB 分次写入if (fileInfo.FileSize limit){long offset 0;long len limit;while (len 0){byte[] buffer await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len);stream.Write(buffer, 0, int.Parse(len.ToString()));stream.Flush();offset len;len (fileInfo.FileSize - offset) limit ? limit : (fileInfo.FileSize - offset);}}else{//如果文件大小小小于100KB 直接写入文件byte[] buffer await FastDFSClient.DownloadFileAsync(storageNode, fileName);stream.Write(buffer, 0, buffer.Length);stream.Flush();}stream.Seek(0, SeekOrigin.Begin);return stream;}/// summary/// 存储文件/// /summary/// param nameobjectByte对象/param/// param nameobjectName对象名/param/// param namegroupName分组/param/// returns/returnspublic async Taskstring StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName ){var storageNode await GetStorageNodeAsync();var filePath await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName));return storageNode.GroupName / filePath;}/// summary/// 存储文件/// /summary/// param nameobjectStream文件流/param/// param nameobjectName对象名/param/// param namegroupName分组/param/// returns文件路径/returnspublic async Taskstring StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName ){var storageNode await GetStorageNodeAsync();var filePath await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName));return storageNode.GroupName / filePath;}}
第三步 在分布式配置中心中进行配置这里的分布式配置中心中进行FastDFS的配置如下ObjectStorage: {StoreType: FastDFS,FastDFS: {Trackers: 192.168.1.14,192.168.1.16,Port: 22122,GateWayUrl: http://192.168.1.197}}
第四步 文件提供者工厂方法中加入FastDFS的处理工厂方法根据上面配置中的StoreType从而知道对应的存储是往FastDFS集群进行存储的进而再加载对应的FastDFS的配置然后创建上面的FastDFSProvider。主要代码摘录如下 case RondsDFS:{var rondsDFSSection _configuration.GetSection(ObjectStorage:RondsDFS);if (rondsDFSSection null)throw new ArgumentNullException(RondsDFS is not configured![OObjectStorage:RondsDFS]);StorageProvider _serviceProvider.GetRequiredServiceRondsDFSProvider();break;}
总结今天首先给大家讲解了如何搭建FastDFS单机版及集群版然后讲解了如何通过asp.net core对FastDFS进行操作。当然由于我的文件系统对应多个文件存储程序因此这里只是把FastDFS作为其中一个提供者进行处理。大伙可以只参考其中的操作方法即可。本来想录个视频的毕竟安装过程稍显复杂奈何机器不允许Pass了有问题可以加QQ两千人群637326624进行交流。参考文章https://zhuanlan.zhihu.com/p/80256918https://blog.51cto.com/13712476/2130525https://www.cnblogs.com/youzhibing/p/9187765.htmlhttps://github.com/happyfish100/fastdfs/wiki往期精彩回顾【推荐】.NET Core开发实战视频课程 ★★★.NET Core实战项目之CMS 第一章 入门篇-开篇及总体规划【.NET Core微服务实战-统一身份认证】开篇及目录索引Redis基本使用及百亿数据量中的使用技巧分享附视频地址及观看指南.NET Core中的一个接口多种实现的依赖注入与动态选择看这篇就够了10个小技巧助您写出高性能的ASP.NET Core代码用abp vNext快速开发Quartz.NET定时任务管理界面在ASP.NET Core中创建基于Quartz.NET托管服务轻松实现作业调度现身说法实际业务出发分析百亿数据量下的多表查询优化关于C#异步编程你应该了解的几点建议C#异步编程看这篇就够了给我好看
您看此文用 · 秒转发只需1秒呦~
好看你就点点我
