自学内容网 自学内容网

FastDFS原理

FastDFS原理

  • FastDFS简介
    • FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理、功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线符文,如相册网站等等
    • FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,适应FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
  • Tracker server
    • 跟踪服务器,主要做调度工作,起到均衡的作用,负责管理所有的Storage Server和group
  • Storage Server
    • 存储服务器,主要提供容量和备份符文;以group为单位,每个group内部可以有多台storage Server,数据互为备份
  • Client
    • 客户端,上传下载数据的服务器,也就是所我们自己的项目所部署在的服务器。FastDFS向使用者提供基本文件访问端口。比如upload、download、append、delete等,以客户端的方式提供给用户使用

文件的上传流程

  1. 选择tracker server
  2. 选择storage server
  3. 选择storage path
  4. 生成Fileid(文件标识)
  5. 生成文件名

在这里插入图片描述

文件的下载

  1. 定位文件
    • 组名
    • 虚拟磁盘路径
    • 数据两级目录
    • 文件名
  2. 文件所在位置的group
  3. 定位文件位置

在这里插入图片描述

FastDFS部署

#安装依赖环境
[root@localhost ~]# yum -y install gcc* libevent libevent-devel pcre-devel zlib-devel
# 解压libfastcommon-1.0.36.tar.gz当前目录
[root@localhost ~]# tar -zxvf libfastcommon-1.0.36.tar.gz
# 切换到解压后的libfastcommon目录
[root@localhost ~]# cd libfastcommon-1.0.36
# 执行make脚本进行编译
[root@localhost libfastcommon-1.0.36]# ./make.sh
#执行make install进行安装
[root@localhost libfastcommon-1.0.36]# ./make.sh install

#解压fastdfs-5.11.tar.gz当前目录
[root@localhost ~]#  tar -zxvf fastdfs-5.11.tar.gz
#切换到解压后FastDFS的目录
[root@localhost ~]# cd fastdfs-5.11
#执行make脚本进行编译
[root@localhost fastdfs-5.11]# ./make.sh
#执行make install进行安装
[root@localhost fastdfs-5.11]#  ./make.sh install

#查看安装后的效果
# 查看FastDFS相关的可执行程序
[root@localhost ~]# ll /etc/fdfs/
配置tracker服务器(101,102)
#复制tracker样例配置文件,并重命名
[root@localhost ~] cp /etc/fdfs/tracker. conf. sample /etc/fdfs/tracker.conf
#修改tracker配置文件
[root@localhost~]#vim/etc/fdfs/tracker.conf #修改的内容如下:
disabled=false
base_path=/fastdfs/tracker
#创建base_path指定的目录
[root@localhost ~] mkdir -p /fastdfs/tracker
#启动tracker服务器
[root@localhost ~]# /etc/init.d/fdfs_trackerd start 
#FastDFS Tracker Server 是否启动成功:
[root@localhost ~]# ps -ef I grep fdfs_trackerd
配置 STORAGE 服务(103,104)
#复制 storage样例配置文件,并重命名
[root@localhost ~]# cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
#编辑配置文件
[root@localhost ~]# vi /etc/fdfs/storage.conf
# storage 服务端口
base_path=/fastdfs/storage
# 数据和日志文件存储根日录
store_pathθ=/fastdfs/storage
# 第一个存储目录
tracker_server=192.168.10.101:22122 # tracker服务器IP和端口
tracker_server=192.168.10.102:22122 #tracker服务器IP2和端口
#和 tracker 中的组名保持一致
group_name=group1
#创建基础数据目录
[root@localhost ~] mkdir -p /fastdfs/storage
#启动storage服务器
[root@localhost~]# /etc/init.d/fdfs_storaged start 
#检查进程
[root@localhost ~]# ps-ef | grep fdfs_storaged
配置client(在任意一个Fastdfs节点上配置)
#复制 client样例配置文件,并重命名
[root@localhost~]#cp/etc/fdfs/client.conf.sample/etc/fdfs/client.conf 
[root@localhost ~] mkdir -p /fastdfs/tracker
[root@localhost ~] vim /etc/fdfs/client.conf #修改以下配置,其它保持默认
base_path=/fastdfs/tracker
tracker_server=192.100.139.121:22122
tracker_server=192.100.139.122:22122 
#测试上传文件
[rootelocalhost ~] fdfs_upload_file /etc/fdfs/client.conf logo.jpg 
group1/M00/00/00/wKgKaGadD5aAZBiJAAFMnKMUrMI833.jpg
在所有storage 节点安装fastdfs-nginx-module 和nginx
#解压fastdfs-nginx-module_v1.16.tar.gz
[root@localhost ~]# tar zxvf fastdfs-nginx-module_v1.16.tar.gz 
#修改fastdfs-nginx-module的配置文件
[root@localhost ~] cd fastdfs-nginx-module/src
#进入解压完的目录,到src目录,修改config文件,将文件路径中存在的local删掉
[root@localhost src]# vim config
#编译安装nginx
[root@localhost ~]# tar zxvf nginx-1.19.5,tar. gz [root@localhost ~]# useradd nginx
[root@localhost ~] cd nginx-1.19.5
[root@localhost nginx-1.19.5]# useradd -M -s /sbin/nologin nginx 
[root@localhost nginx-1.19.5]#./configure --prefix=/usr/local/nginx --user=nignx --group=nginx
--prefix=/usr/local/nginx -add-module=/root/fastdfs-nginx-module/src
[root@localhost nginx-1.19.5]# make install
#优化命令路径
[root@localhost nginx-1.19.5]# In -s /usr/local/nginx/sbin/* /usr/local/sbin/ 
#配置FASTDFS
#cp mod fastdfs.conf并修改
[rootelocalhost ~] cp /root/ fastdfs-nginx-module/src/mod fastdfs. conf /etc/fdfs/ 
[rootelocalhost ~] vim /etc/fdfs/mod fastdfs.conf
tracker_server=192.168.10.101:22122
tracker_server=192.168.10.102:22122
url_have group_name=true 
store pathe=/fastdfs/storage
#复制FastDFS的部分配置文件到/etc/fdfs目录
[root@localhost~]#cp /root/fastdfs-5.11/conf/http.conf/etc/fdfs 
[root@localhost~]# cp /root/fastdfs-5.11/conf/mime. types /etc/fdfs
#/fastdfs/storage/data将其链接到实际存放数据的目录
[root@localhost~]#In-s /fastdfs/storage/data/ /fastdfs/storage/data/M00 
配置NGINX(103,104)
[rootelocalhost ~] cd /usr/local/nginx/
#修改nginx.conf文件,在server指令块中新增如下配置
[root@localhost nginx]# vim conf/nginx.conf http
location /group1/M00{
ngx_fastdfs module;
}
root@localhost nginx]# fdfs storaged /etc/fdfs/storage. conf restart 
[root@localhost nginx]# nginx
配置NGINX反向代理(105)
#编译安装Nginx
[root@localhost ~]# yum -y install pcre-devel zlib-devel gcc* 
[rootelocalhost ~] tar zxvf nginx-1.19.5. tar. gz
[root@localhost nginx-1.19.5]# useradd nginx
[root@localhost nginx-1.19.5]#, /configure --prefix=/usr/local/nginx --user=nginx -group=nginx
[root@localhost nginx-1.19.5]# make 8& make install
[root@localhost ~]# In -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ 
[root@localhost~]#vim/usr/local/nginx/conf/nginx.conf
#http块中
upstream storage_server_group {
server 192.168. 10.103:80  weight=1;
server 192.168.10. 104:80  weight=1; 
}
#server块中
location /
proxy_pass http: //storage_server_group1; }
}


原文地址:https://blog.csdn.net/weixin_67764171/article/details/140610666

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!