分布式系统的发展史

news/2024/4/28 22:06:33

目录

🐳今日良言:且视他人之疑目如盏盏鬼火,大胆地去走自己的夜路

🐇一、常见概念

🐇二、发展史


今日良言:且视他人之疑目如盏盏鬼火,大胆地去走自己的夜路

一、常见概念

在正式介绍分布式系统之前,让我们先来了解一下分布式相关的一些常见概念。

应用(Application)/ 系统(System)

为了完成⼀整套服务的⼀个程序或者⼀组相互配合的程序群。

举例:为了完成一项任务,由此搭建的由一个人活着一群相配合的人组成的团队

模块(Module)/ 组件(Component)

当应用较复杂时,为了分离职责,将其中具有清晰职责的、内聚性强的部分,抽象出概念,便于理解。

举例:军队中为了进⾏某据点的攻克,将人员分为突击小组、爆破小组、掩护小组等。

分布式(Distributed)

系统中的多个模块被不属于不同服务器之上,就可以将这个系统称为分布式系统。比如:Web 服务器和数据库分别在不同服务器上工作或者多台 Web 服务器被分别部署在不同服务器上。

举例:在疫情期间,无法到公司上班,因此,为了某些工作需要,原来在同一个办公室工作的的小组成员被分散到一个城市的不同场地或者多个城市的不同场地进行远程配合工作完成目标。

跨主机之间的模块间的通信基本要记住网络支撑完成。

集群(Cluster)

被部署于多台服务器上的,为了实现特定目标的一个/组特定的组件,整个整体被称为集群。

举例1:多个MySQL工作在不同服务器上,共同提供数据库目标服务,由此可以被称为一组数据库集群。

举例2:广义的集群:只要是多个机器,构成了分布式系统,都可以称为是一个“集群”。

举例3:狭义的集群:redis 提供的集群模式,这个集群模式之下,主要是解决存储空间不足的问题(拓展存储空间)。

主(Master)/ 从(Slave)

集群中,通常有一个程序需要承担更多的责任,被称为主。其他承担附属职责的被称为从。

举例:学校小组任务一般会选举一个组长,组长就需要承担比组员更多的责任,而组员就需要承担另外一些责任来配合组长完成任务。

中间件(Middleware)

可以理解成一种软件,它可以帮助不同的应用系统之间进行沟通和数据交换。

举个例子:可以想象一个邮局的场景:

  • 邮局作为中间件:假设你住在城市A,你的一个朋友住在城市B,你们两个都想要互相寄送信件。如果没有邮局(中间件),你们可能需要自己亲自前往对方的城市去递送信件,这不仅耗时耗力,而且效率低下。而有了邮局这样的服务机构(中间件),你们只需要将信件交给邮局,邮局会负责将信件从城市A运送到城市B,并最终交到你朋友的手中。这样,即使你们身处不同的地方,也能轻松地通信。
  • 邮局提供的服务:邮局不仅仅提供传递信件的服务,还提供了如挂号、保险、快递等多种服务(共性功能),这些都是为了满足不同客户的需求而设计的。无论客户需要哪种服务,邮局都能提供相应的解决方案,这样就避免了每个人为了寄信而自己建立一套复杂的传送系统的情况。

总的来说,中间件就像是一个连接不同应用和服务的桥梁,它提供了一种便捷的方式来实现资源共享和功能共享。在技术领域中,中间件的存在极大地简化了复杂系统的开发和维护工作,提高了软件的复用性和效率。

二、发展史

在介绍完了分布式相关的一些常见概念之后,接着就上主菜了,让博主来介绍一下分布式系统是如何蓬勃发展,如今这么火爆的。

2.1单机架构

在初始阶段,小型系统的应用程序、数据库、文件等所有资源都部署在一台服务器上,这通常被称为LAMP(Linux, Apache, MySQL, PHP)架构。

2.2 功能分离架构

随着系统上线,我们收获了一些忠实用户,这使得系统的访问量逐步上升,逐渐逼近了硬件资源的极限。面对当前的性能压力,我们需要进行系统重构,以提升系统的承载能力以,因此,我们可以选择将应用和数据分离,放到不同的主机上部署。

 2.3应用服务器集群架构

我们的系统被广大用户所喜爱,单台应用服务器已经无法满足需求了,针对这种情况,我们了解到右两种方案可以解决这个问题:

垂直扩展 / 纵向扩展 Scale Up。
通过购买性能更优、价格更⾼的应⽤服务器来应对更多的流量。这种方案的优势在于完全不需要对系统软件做任何的调整;但劣势也很明显:硬件性能和价格的增长关系是⾮线性的,意味着选择性能 2 倍的硬件可能需要花费超过 4 倍的价格,其次硬件性能提升是
有明显上限的。
⽔平扩展 / 横向扩展 Scale Out。
通过调整软件架构,增加应用层硬件,将用户流量分担到不同的
应用层服务器上,来提升系统的承载能⼒。这种⽅案的优势在于成本相对较低,并且提升的上限空间也很大。但劣势是带给系统更多的复杂性,需要掌握更丰富的经验。

 经过深思熟虑,我们决定使用水平扩展的方案来解决这个问题,但是和需要引入一个新的组件---负载均衡;为了解决用户流量向哪台应用服务器分发的问题,需要⼀个专门的系统组件做流量分发。

实际中负载均衡不仅仅指的是工作在应用层的,甚至可能是其他的网络层之中。同时流量调度算法也有很多种,这⾥简单介绍几种较为常见的:
Round-Robin 轮询算法
即非常公平地将请求依次分给不同的应用服务器。
Weight-Round-Robin 轮询算法
为不同的服务器(比如性能不同)赋予不同的权重(weight),能者多劳
一致性哈希散列算法
通过计算⽤⼾的特征值(比如 IP 地址)得到哈希值,根据哈希结果做分发,优点是确保来相同用户的请求总是被分给指定的服务器。也就是我们平时遇到的专项客⼾经理服务。

 2.4读写分离/主从分离架构

在上述的架构里,无论扩展多少台服务器,这些请求最终都会从数据库读写数据,到一定程度之

后,数据的压力就是系统承载能力的瓶颈点,

此时,不妨想想,我们是否可以像扩展应用服务器一样扩展数据库服务器?

答案是否定的,因为数据库服务有特殊性。

如果将数据分散到各台服务器之后,数据的⼀致性将⽆法得到保障。所谓数据的⼀致性,此处是指:针对同⼀个系统,无论何时何地,我们都应该看到⼀个始终维持统⼀的数据。想象⼀下, 银行管理的账⼾⾦额,如果收到⼀笔转账之后,⼀份数据库的数据修改了,但另外的数据库没有修改,则用户得到的存款⾦额将是错误的。

因此,就得采用另一种方法。

我们保留一个主要的数据库作为写入的主数据库,其他的数据库作为从属数据库。从库的所有数据都来自主库,经过数据同步后,从库可以维护与主库一致的数据,然后为了分担数据库的压力,我们可以将写数据请求全部交给主库处理,但读请求分散给所有从库。在绝大多数系统中,读请求是远大于写请求的,所以,将读请求分散给各个从库以后,数据库的压力就没那么大了。

 2.5引入缓存-冷热分离架构

随着访问量持续增加,我们发现业务中一些数据的读取频率远大于其他数据的读取频率。比如:dy搜索框会展示每天的热搜词,这部分数据就是当天读取频率比较多的数据。我们把这部分数据成为热点数据。与之相对应的,就是冷数据。

针对热数据,我们想要提高它们的读取相应时间,因此,可以增加本地缓存,并在外部增加分布式缓存。通过缓存,就能避免有大量的请求同时操作数据库,作为一面护盾,为数据库 “抵挡伤害”,避免数据库宕机。

2.6 垂直分库(分库分表)

 

随着业务的数据量增大,大量的数据存储在同⼀个库中已经显得有些力不从心了,所以可以按照业务,将数据分别存储。比如针对评论数据,可按照商品ID进⾏hash,路由到对应的表中存储;针针对支付记录,可按照小时创建表,每个小时表继续拆分为小表,使用用户ID或记录编号来路由数据。只要实时操作的表数据量足够小,请求能够⾜够均匀的分发到多台服务器上的⼩表,那数据库就能通过

水平扩展的方式来提⾼性能。这种做法显著的增加了数据库运维的难度,对DBA的要求较⾼。数据库设计到这种结构时,已经可以称为分布式数据库,但是这只是⼀个逻辑的数据库整体,数据库里不同的组成部分是由不同的组件单独来实现的,如分库分表的管理和请求分发,由Mycat实现,SQL的解析由单机的数据库实现,读写分离可能由网关和消息队列来实现,查询结果的汇总可能由数据库接口层来实现等等,这种架构其实是MPP(大规模并行处理)架构的⼀类实现。

 2.7业务拆分-微服务

随着⼈员增加,业务发展,我们将业务分给不同的开发团队去维护,每个团队独⽴实现自己的微
服务,然后互相之间对数据的直接访问进⾏隔离,可以利⽤ Gateway、消息总线等技术,实现相互之间的调⽤关联。甚⾄可以把⼀些类似⽤⼾管理、安全管理、数据采集等业务提成公共服务。

总的来说,分布式系统的发展是一个从简单到复杂,从单一到复合的过程,它不仅涉及技术的迭代和创新,还包括对系统稳定性、扩展性和并发性的不断追求。所谓的分布式系统,就是想办法引入更多的硬件资源。


http://www.mrgr.cn/p/50718666

相关文章

M1 mac安装 Parallels Desktop 18 激活

M1 mac安装 Parallels Desktop 18 激活 下载安装Parallels Desktop 18.1.1 (53328) 激活1. 拷贝prl_disp_service2. 在终端打开Crack所在位置3. 输入命令,激活成功 下载 安装包和激活文件下载地址 链接: https://pan.baidu.com/s/1EjT7xeEDcntIIoOvvhBDfg?pwd9pue …

全国植被类型分布数据

引言 全国植被类型分布数据利用 Landsat 卫星数据(Landsat TM,ETM和 OLI)完成了长时序的地表覆盖变化检测,并结合变化 检测结果实现了逐区域和逐期的地表覆盖动态更新,30米精细植被类型分布数据,共包含 2…

由浅到深认识Java语言(31):阶段性练习

该文章Github地址:https://github.com/AntonyCheng/java-notes 在此介绍一下作者开源的SpringBoot项目初始化模板(Github仓库地址:https://github.com/AntonyCheng/spring-boot-init-template & CSDN文章地址:https://blog.c…

[蓝桥杯 2022 省 A] 求和

[蓝桥杯 2022 省 A] 求和 题目描述 给定 n n n 个整数 a 1 , a 2 , ⋯ , a n a_{1}, a_{2}, \cdots, a_{n} a1​,a2​,⋯,an​, 求它们两两相乘再相加的和,即 S a 1 ⋅ a 2 a 1 ⋅ a 3 ⋯ a 1 ⋅ a n a 2 ⋅ a 3 ⋯ a n − 2 ⋅ a n − 1 a n − 2 ⋅ a…

【Canvas与艺术】简约式胡萝卜配色汽车速度表

【效果图】 【代码】 <!DOCTYPE html> <html lang"utf-8"> <meta http-equiv"Content-Type" content"text/html; charsetutf-8"/> <head><title>胡萝卜色汽车速度仪表盘简化版</title><style type"…

网页无插件视频播放器,支持录像、截图、音视频播放,多路播放等,提供源码下载

前言 本播放器内部采用jessibuca插件接口&#xff0c;支持录像、截图、音视频播放等功能。播放器播放基于ws流&#xff0c;分屏操作支持1分屏、4分屏、6分屏、9分屏方式。 jessibuca工作原理是通过Emscripten将音视频解码库编译成Js&#xff08;WebAssembly&#xff0c;简称was…

python 中判断文件、目录是否存在的方法

判断目录是否存在并创建目录 一、实现上传文件功能二、判断目录是否存在的办法2.1、使用os模块2.1.1、判断目录是否存在2.1.2、os.makedirs()&#xff1a;递归创建目录 2.2、使用pathlib模块2.2.1、path.exist()判断目录是否存在2.2.1、path.mkdir()&#xff1a;创建目录 2.3、…

【Linux】详解进程终止进程等待

一、页表&&写时拷贝的进一步理解 页表中不仅仅只有虚拟地址到物理地址的映射&#xff0c;还包括了很多选项&#xff0c;其中就包括了映射条目的权限。当我们进程的代码和数据加载到内存并和进程地址空间建立映射关系时&#xff0c;如果数据的内容不允许被修改&#xff…

测试一下MySQL四种隔离级别都做了什么

准备工作: 一个表:两条事务 ,每条事务有两条相同sql,update值改成A、B用作区分: 1.读未提交 1.1测试脏读:事务A执行update操作,不提交,事务B执行select查询结果。 期望:按照网上所说,应该会产生脏读问题,查询到未提交的值,即name = "事务A"。 测试结果:…

CSS问题精粹1

1.关于消除<li>列表前的符号 我相信很多人在初学CSS时会遇到该问题&#xff0c;无论是创作导航&#xff0c;还是列表&#xff0c;前面都会有个黑点点或其它符号。 解决该问题其实很简单 采用list-style-type:none或list-style:none直接解决 如果你想更换前面的黑点点&a…

代码随想录算法训练营第五十九天|● 503.下一个更大元素II ● 42. 接雨水

下一个更大元素II 题目链接:503. 下一个更大元素 II - 力扣(LeetCode) 思路:这里处理循环数组的方式值得学习,用i%nums.size()和for循环的上限来模拟两层for循环。整体思路还是单调栈。 class Solution { public:vector<int> nextGreaterElements(vector<int>…

零基础学python之高级编程(6)---Python中进程的Queue 和进程锁,以及进程池的创建 (包含详细注释代码)

Python中进程的Queue 和进程锁,以及进程池的创建 文章目录 Python中进程的Queue 和进程锁,以及进程池的创建前言一、进程间同步通信(Queue)二、进程锁&#xff08;Lock&#xff09;三、创建进程池Poorpool 类方法: End! 前言 大家好,上一篇文章,我们初步接触了进程的概念及其应…

C语言从入门到实战----数据在内存中的存储

1. 整数在内存中的存储 在讲解操作符的时候&#xff0c;我们就讲过了下⾯的内容&#xff1a; 整数的2进制表⽰⽅法有三种&#xff0c;即 原码、反码和补码 有符号的整数&#xff0c;三种表⽰⽅法均有符号位和数值位两部分&#xff0c;符号位都是⽤0表⽰“正”&#xff0c;⽤…

NO9 蓝桥杯单片机实践之串口通信的使用

1 回顾 串口通信的代码编写结构还是与中断一样&#xff0c;不同的是&#xff1a; 初始中断函数条件涉及到串口通信相关的寄存器和定时器1相关的寄存器&#xff08;定时器1用于产生波特率&#xff09;&#xff0c;但初始条件中的中断寄存器只考虑串口通信而不考虑定时器1。 vo…

Matlab|计及电池储能寿命损耗的微电网经济调度

目录 1 主要内容 储能寿命模型 负荷需求响应 2 部分代码 3 程序结果 4 下载链接 1 主要内容 该程序参考文献《考虑寿命损耗的微网电池储能容量优化配置》模型&#xff0c;以购售电成本、燃料成本和储能寿命损耗成本三者之和为目标函数&#xff0c;创新考虑储能寿命损耗约…

程序员如何兼职赚小钱?

程序员由于有技术和手艺其实兼职赚钱的路子还是挺多的&#xff0c;只要你有足够的时间。 1. 做外包 这是比较传统的方式&#xff0c;甲方在一些众包平台上发布开发任务&#xff0c;你可以抢这个任务&#xff0c;但是价格都比较便宜。 任务比较多的平台: 猪八戒、一品威客、开…

C语言指针详解(上)

一.什么是指针 指针是一种类型&#xff0c;用来存储变量的地址的类型 有哪些类型呢 字符指针&#xff1a;char* 整型指针&#xff1a;int* 浮点型指针&#xff1a;float* 双精度浮点型指针&#xff1a;double* 空指针&#xff1a;void* &#xff08;每一个类型的指针&a…

ubuntu没有有线网络的一种解决办法

直接使用下面的代码: sudo nmcli networking off sudo nmcli networking on转自 Ubuntu 20.04 LTS 有线网络设置消失了怎么办 - 知乎 (zhihu.com) 评论区第一条 理客Lick - 知乎 (zhihu.com)Keep it simple and stupid

Huawei设备基础配置

<Huawei>system-view # 进入系统视图 [Huawei]telnet server enable # 开启设备telnet功能 [Huawei]user-interface vty 0 4 # 开启登录端口0-4并进入用户接口视图 [Huawei-ui-vty0-4]protocol inbound telnet # 通过telnet协议登录 [Huawei-ui-vty0-4]authentic…

如何安装和卸载SFP光模块

SFP光模块的安装和拆卸是简单直接的过程。然而&#xff0c;任何非标准操作都可能导致隐式损坏甚至永久故障。您需要参考及时更新的光模块的数据表或用户手册&#xff0c;以熟悉其特性和锁定机制。 准备工作 常见事项 拆卸和插入SFP光模块可能会缩短其使用寿命&#xff0c;因…