小型架构实验模拟

news/2024/5/19 0:35:19

一  实验需求

二    实验环境

22 机器： 做nginx 反向代理  做静态资源服务器

装 nginx  keepalived filebeat

44机器： 做22 机器的备胎

装nginx  keepalived 

99机器：做mysql的主

装mysqld   装node 装filebeat

77机器：做mysql从    做tomcat动态资源服务器

装mysqld node tomcat

88机器： 做mysql从  做tomcat 动态资源服务器

装mysqld node1 tomcat

66 机器： 做elk 节点服务器   且做mha 的manager 节点

装logstash es  es-head  kibana  manager

三   实验步骤

1，先做nginx的反向代理  和不同域名指向

1.1（22,44）nginx 配置文件如下：
http {log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log  /var/log/nginx/access.log  main;sendfile            on;tcp_nopush          on;tcp_nodelay         on;keepalive_timeout   65;types_hash_max_size 4096;upstream tomcat {server 192.168.217.77:8080;server 192.168.217.88:8080;}include             /etc/nginx/mime.types;default_type        application/octet-stream;# Load modular configuration files from the /etc/nginx/conf.d directory.# See http://nginx.org/en/docs/ngx_core_module.html#include# for more information.include /etc/nginx/conf.d/*.conf;server {listen       80;listen       [::]:80;server_name  _;root         /usr/share/nginx/html;location ~*\.jsp$ {proxy_pass http://tomcat;}location ~* \.(jpg|jpeg|png|gif|bmp|html)$ {root  /usr/share/nginx/html/;}
}server {listen       80;server_name www.benet.com;root /data/benet;location / {proxy_pass http://192.168.217.77:8080;}
}server {listen       80;server_name www.kgc.com;root /data/kgc;location / {proxy_pass http://192.168.217.88:8080;}}# Load configuration files for the default server block.include /etc/nginx/default.d/*.conf;server {listen       80;error_page 404 /404.html;location = /404.html {}error_page 500 502 503 504 /50x.html;location = /50x.html {}}
1.2 解释

1.3 实验效果

访问nginx 以.jsp 结尾    会以轮询方式访问  后面的tomcat

 访问 nginx  以.png 结尾   会在本地找

访问 benet 域名   会指向tomcat1  (记得本机做域名映射)

访问kgc 域名   会指向 tomcat 2  

以上答案错误！   正确答案：

客户只知道域名   根据域名做对应的动静分离

2， 做nginx 的高可用 

2.1 keepalive 配置文件如下 (这是主)

备改 router_id LVS_02     state BACKUP  priority 80

! Configuration File for keepalivedglobal_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 127.0.0.1smtp_connect_timeout 30router_id LVS_01vrrp_skip_check_adv_addrvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_script check_down {script "/etc/keepalived/ng.sh"interval 1weight -30fall 3rise 2timeout 2
}vrrp_instance VI_1 {state MASTERinterface ens33virtual_router_id 51priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.217.188}track_script {check_down
}}
2.2  （22,44机器）写检测nginx 是否活着的脚本（注意路径）

2.3  实验效果

虚拟ip 188 会飘在 22 机器上（主）

当手动制造 22 机器故障 systemctl stop nginx    虚拟ip 会飘到44机器上

证明：若主出现故障   从会顶上来

3， 做mysql 主从复制与读写分离 mha做高可用

前篇已详细概述，本篇暂不赘述 

4，做filebeat 收集nginx 的正确错误日志

4.1 （22机器）filebeat 的配置文件
#=========================== Filebeat inputs =============================filebeat.inputs:# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.- type: logenabled: truepaths:- /var/log/nginx/access.logtags: ["access"]- type: logenabled: truepaths:- /var/log/nginx/error.logtags: ["error"]

#----------------------------- Logstash output --------------------------------
output.logstash:# The Logstash hostshosts: ["192.168.217.66:5044"]# Optional SSL. By default is off.# List of root certificates for HTTPS server verifications#ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]# Certificate for SSL client authentication#ssl.certificate: "/etc/pki/client/cert.pem"# Client Certificate Key#ssl.key: "/etc/pki/client/cert.key"
4.2  （66机器）logstash 配置文件
input {beats {port => "5044"}
}
output {if "access" in [tags] {elasticsearch {hosts => ["192.168.217.66:9200"]index => "nginx-access-%{+YYYY.MM.dd}"}}if "error" in [tags] {elasticsearch {hosts => ["192.168.217.66:9200"]index => "nginx-error-%{+YYYY.MM.dd}"}}stdout {codec => rubydebug}
}
4.3 （66机器）elasticsearch主配置文件
[root@node ~]#grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node"]http.cors.enabled: true                         #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"                     #指定跨域访问允许的域名地址为所

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

4.4  （66机器）kibana 配置文件
[root@node ~]#grep -v "^#" /etc/kibana/kibana.yml 
server.port: 5601server.host: "0.0.0.0"elasticsearch.url: "http://192.168.217.66:9200"kibana.index: ".kibana"

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

4.5 实验效果

5，  filebeat 收集mysql 的错误日志

5.1  （99机器）mysql 配置文件添加 错误日志路径
[client]
port = 3306
#default-character-set=utf8
socket = /usr/local/mysql/mysql.sock[mysql]
port = 3306
default-character-set=utf8
socket = /usr/local/mysql/mysql.sock[mysqld]
#log-error = /var/log/mysqld/error.log
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
log_error=/usr/local/mysql/error.log
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 1log_bin = master-bin
log-slave-updates = truesql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON_ZERO,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES
~                                                                                                   
~

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

5.2  （99机器） filebeat 的配置文件
#=========================== Filebeat inputs =============================filebeat.inputs:# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.- type: log# Change to true to enable this input configuration.enabled: true# Paths that should be crawled and fetched. Glob based paths.paths:- /usr/local/mysql/error.logtags: ["error"]fields:           #可以使用 fields 配置选项设置一些参数字段添加到 output 中service_name: filebeatlog_type: logservice_id: 192.168.217.99

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

#----------------------------- Logstash output --------------------------------
output.logstash:# The Logstash hostshosts: ["192.168.217.66:5044"]

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

5.3  （66 机器）写logstash 配置文件
input {beats {port => "5044"}
}
output {elasticsearch {hosts => ["192.168.217.66:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

5.4  实验结果

四   报错总结

1，logstash 配置文件占用报错

[root@node logstash]#/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/mysql.conf ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path //usr/share/logstash/config/log4j2.properties. Using default config which logs to console
07:40:53.541 [LogStash::Runner] FATAL logstash.runner - Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting.

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

解决方法：

找到主进程  kill-9 93968

2，filebeat 起不来， 配置文件报错

软件启动不来   看 /var/log/messages

filebeat 的配置文件确保所有键值对的值正确缩进，遵循YAML的缩进规则（通常使用空格，且同一层级的元素应保持相同数量的空格）。说人话就是注意空格

3，manager 节点上测试 mysql 主从连接情况 MySQL Replication Health is not OK

masterha_check_repl -conf=/etc/masterha/app1.cnf
 

解决方法：

4， mysql 配置文件 加不了错误日志路径

解决方法：编译安装的mysql 环境变量如下

所以日志也要放在该路径下

echo 'PATH=/usr/local/mysql/bin:/usr/local/mysql/lib:$PATH' >> /etc/profile
echo 'export PATH' >> /etc/profile
source /etc/profile

5， 做mha 时  manager 节点报错

 manager 节点也要 先装node

6，做mysql 的elfk 时一直出不来

注意数据流向   ip 是否写错

7  mha 故障恢复

7.1 故障恢复步骤
故障修复步骤：
1．修复mysql
systemctl restart mysqld2．修复主从
#在现主库服务器 Mysql2 查看二进制文件和同步点
show master status;#在原主库服务器 mysql1 执行同步操作
change master to master_host='192.168.217.77',master_user='myslave',master_password='123456',master_log_file='master-bin.000002',master_log_pos=1745;start slave;3．在 manager 节点上修改配置文件app1.cnf（再把这个记录添加进去，因为它检测掉失效时候会自动消失）
vi /etc/masterha/app1.cnf
......
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.10.14 -s 192.168.10.15
......
[server1]
hostname=192.168.217.77
port=3306[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.217.88
port=3306[server3]
hostname=192.168.217.99
port=33064．在 manager 节点上启动 MHA
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

7.2  报错

报错1   app1 is stopped(2:NOT_RUNNING).

[root@node ~]#masterha_check_status --conf=/etc/masterha/app1.cnf这是查看 mha  主状态app1 is stopped(2:NOT_RUNNING).


报错2   MySQL Replication Health is NOT OK!

[root@node ~]#masterha_check_repl -conf=/etc/masterha/app1.cnf这是检测mha   主从复制情况Mon Apr 22 01:13:23 2024 - [warning] Global configuration file /etc/masterha_default.cnf not found. 
Mon Apr 22 01:13:23 2024 - [info] Reading application default configuration from /etc/masterha/app1.
Mon Apr 22 01:13:23 2024 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Mon Apr 22 01:13:23 2024 - [info] MHA::MasterMonitor version 0.57.
Mon Apr 22 01:13:24 2024 - [error][/usr/local/share/perl5/MHA/ServerManager.pm, ln781] Multi-master configurations for details. Master configurations are as below: 
Master 192.168.217.77(192.168.217.77:3306), replicating from 192.168.217.99(192.168.217.99:3306)
Master 192.168.217.99(192.168.217.99:3306), replicating from 192.168.217.77(192.168.217.77:3306)Mon Apr 22 01:13:24 2024 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln427] Error happene
Mon Apr 22 01:13:24 2024 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln525] Error happene
Mon Apr 22 01:13:24 2024 - [info] Got exit code 1 (Not master dead).MySQL Replication Health is NOT OK!
[1]+  Exit 1                  nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_m

7.3  解决办法

先看报错 日志：

[root@node ~]#masterha_check_repl -conf=/etc/masterha/app1.cnf Mon Apr 22 01:13:23

2024 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping. Mon Apr 22 01:13:23 2024 - [info] Reading application default configuration from /etc/masterha/app1.cnf.. Mon Apr 22 01:13:23 2024 - [info] Reading server configuration from /etc/masterha/app1.cnf.. Mon Apr 22 01:13:23 2024 - [info] MHA::MasterMonitor version 0.57. Mon Apr 22 01:13:24 2024 - [error][/usr/local/share/perl5/MHA/ServerManager.pm, ln781] Multi-master configuration is detected, but two or more masters are either writable (read-only is not set) or dead! Check configurations for details. Master configurations are as below: Master 192.168.217.77(192.168.217.77:3306), replicating from 192.168.217.99(192.168.217.99:3306) Master 192.168.217.99(192.168.217.99:3306), replicating from 192.168.217.77(192.168.217.77:3306)

Mon Apr 22 01:13:24 2024 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations. at /usr/local/share/perl5/MHA/MasterMonitor.pm line 329. Mon Apr 22 01:13:24 2024 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln525] Error happened on monitoring servers. Mon Apr 22 01:13:24 2024 - [info] Got exit code 1 (Not master dead).

MySQL Replication Health is NOT OK! [1]+ Exit 1 nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 [root@node ~]#masterha_check_status --conf=/etc/masterha/app1.cnf app1 is stopped(2:NOT_RUNNING).

您提供的最新输出显示，在运行masterha_check_repl和masterha_check_status命令时，MySQL复制健康状况依然不正常，并且MHA（Master High Availability Manager）应用app1的状态为停止（stopped(2:NOT_RUNNING)）。以下是针对输出中关键信息的中文解释：

  1. 警告：Global configuration file /etc/masterha_default.cnf not found. Skipping. 表示系统未能找到全局配置文件 /etc/masterha_default.cnf。虽然跳过了该文件的读取，但建议检查文件是否存在，以及路径是否正确，确保所有必要的配置项已正确设置。

  2. 信息：Reading application default configuration from /etc/masterha/app1.cnf.. 和 Reading server configuration from /etc/masterha/app1.cnf.. 表明正在从 /etc/masterha/app1.cnf 文件中读取应用默认配置和服务器配置。

  3. 信息：MHA::MasterMonitor version 0.57. 显示当前使用的 MHA Master Monitor 版本为 0.57。

  4. 错误：Multi-master configuration is detected, but two or more masters are either writable (read-only is not set) or dead! Check configurations for details. 提示检测到存在多主（multi-master）配置，且有两个或更多主服务器处于可写状态（未设置为只读）或已经失效。这是一个严重问题，因为在一个典型的主从复制环境中，应该只有一个主服务器是可写的，其他服务器作为从服务器接收主服务器的数据复制。建议仔细检查以下两台主机的配置：

    • Master 192.168.217.77(192.168.217.77:3306), replicating from 192.168.217.99(192.168.217.99:3306)
    • Master 192.168.217.99(192.168.217.99:3306), replicating from 192.168.217.77(192.168.217.77:3306)

    确保每个服务器的角色（主/从）正确设定，并且仅有一个主服务器处于可写状态。如果需要，可以检查并调整 read_only 系统变量，确保从服务器设置为只读。

  5. 错误：Error happened on checking configurations. at /usr/local/share/perl5/MHA/ServerManager.pm line 329. 和 Error happened on monitoring servers. 表示在检查配置和监控服务器时发生了错误。这些错误可能与上述多主配置问题直接相关。

  6. 信息：Got exit code 1 (Not master dead). 说明命令执行以退出码 1 结束，表示主服务器并未失效，但鉴于前面的错误信息，实际上是由于检测到了不正常的多主配置导致的。

  7. MHA状态：app1 is stopped(2:NOT_RUNNING). 表明MHA应用app1当前处于停止状态，无法正常监控和管理MySQL复制环境的高可用性。

综上所述，您需要首先解决多主配置问题，确保只有单一主服务器处于可写状态，其余服务器作为从服务器正确地从主服务器接收复制。修复配置问题后，重启MHA应用app1，然后再次运行 masterha_check_repl 和 masterha_check_status 命令，以确认复制健康状况已恢复正常，并且MHA应用能够成功运行并监控您的MySQL复制环境。如果问题仍未解决，请进一步检查MHA配置文件和日志，以获取更详细的故障信息。

在原来的  主 上   做 只读 

成功！

8    mha 故障恢复 从节点顶不上来

每个mysql 上都有加这个   因为每个mysql 都有可能成为从   和  主

[client]
port = 3306
#default-character-set=utf8
socket = /usr/local/mysql/mysql.sock[mysql]
port = 3306
default-character-set=utf8
socket = /usr/local/mysql/mysql.sock[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 2log_bin = master-binrelay-log = relay-log-binrelay-log-index = slave-relay-bin.indexsql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON_ZERO,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES


http://www.mrgr.cn/p/66781151

相关文章

Gitlab: Python项目CI/CD实践

Gitlab: Python项目CI/CD实践

目录 1. 说明 2. 准备工作 2.1 服务器 2.2 开发机hosts文件 2.3 项目 3. 步骤过程 3.1 建仓Fastapi T1 3.2 开发机测试构建与推送 ​编辑 3.3 在工作站添加gitlab-runner 3.4 提交代码&#xff0c;查看Pipelines结果 3.5 观察部署情况 4. 参考 1. 说明 分别以一个…
阅读更多...
探索飞行奥秘：3D模型带你走进飞机涡轮发动机的世界

探索飞行奥秘：3D模型带你走进飞机涡轮发动机的世界

飞机涡轮发动机3D模型不仅是对真实发动机的精准复制，更是科技与艺术的完美结合。每一个细节都经过精心打磨，无论是复杂的叶片结构、精致的燃烧室，还是精密的控制系统，都让人叹为观止。仿佛置身于真实的发动机内部，感受着那股强大的力量从心底涌起。在浩瀚的蓝天下，飞机如…
阅读更多...
C++高级特性：异常概念与处理机制（十四）

C++高级特性：异常概念与处理机制（十四）

1、异常的基本概念 异常&#xff1a;是指在程序运行的过程中发生的一些异常事件&#xff08;如&#xff1a;除数为0&#xff0c;数组下标越界&#xff0c;栈溢出&#xff0c;访问非法内存等&#xff09; C的异常机制相比C语言的异常处理&#xff1a; 函数的返回值可以忽略&…
阅读更多...
openwrt wifi连接做中继

openwrt wifi连接做中继

连接目标wifi 重命名下 3. 4. 在无线安全里设置wifi密码后 保存应用 大功告成
阅读更多...
JavaEE 初阶篇-深入了解 UDP 通信与 TCP 通信（综合案例：实现 TCP 通信群聊）

JavaEE 初阶篇-深入了解 UDP 通信与 TCP 通信（综合案例：实现 TCP 通信群聊）

&#x1f525;博客主页&#xff1a; 【小扳_-CSDN博客】 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 UDP 通信 1.1 DatagramSocket 类 1.2 DatagramPacket 类 1.3 实现 UDP 通信&#xff08;一发一收&#xff09; 1.3.1 客户端的开发 1.3.2 服务端的开发 1.4 实现 …
阅读更多...
搭建MySQL主从结构时的问题

搭建MySQL主从结构时的问题

说明&#xff1a;记录搭建MySQL主从结构时遇到的几个问题&#xff1b; 问题一&#xff1a;连接主节点失败 搭建完成后从节点查看状态如下&#xff1a; 错误&#xff1a;error connecting to master admin主机IP - retry-time: 60 retries: 712 message: Host 主机IP is block…
阅读更多...
2、MATLAB入门常用命令

2、MATLAB入门常用命令

一、退出和中断 exit和quit&#xff1a;结束MATLAB会话。程序完成&#xff0c;如果没有明确保存&#xff0c;则变量中的数据丢失。 Ctrl c&#xff1a;中断一个MATLAB任务。例如&#xff0c;当MATLAB正在计算或打印时&#xff0c;中断一个任务&#xff0c;但会话并没有结束。…
阅读更多...
[题解] [NOIP2011 提高组] Mayan 游戏

[题解] [NOIP2011 提高组] Mayan 游戏

[题解] [NOIP2011 提高组] Mayan 游戏 题目描述 有一个 \(7\) 行 \(5\) 列的格子棋盘，有的格子上有方块。方块有重力，即如果一个方块下面没有其他方块，他就会往下掉，直到触底或者下面有方块为止。 每个方块都有自己的颜色，如果连着三个竖着或者横着的方块颜色相同，它们就…
阅读更多...
敏捷产品经理实训 / 敏捷产品负责人实训

敏捷产品经理实训 / 敏捷产品负责人实训

​ 课程简介 优秀的产品通常包括以下三个特征： 第一：能够抓住用户痛点，帮助用户解决问题；第二：容易使用，极致的用户体验；第三：质量好、性能稳定。 这是一个两天的面向产品经理的实训课程，课程旨在帮助学员掌握按照敏捷和互联网思维进行产品研发，打造用户喜爱的产品的…
阅读更多...
C语言编程题_3D接雨水

C语言编程题_3D接雨水

接雨水的题目描述如下。 (1) 2D接雨水&#xff1a; 字节员工是不是个个都会接雨水 &#xff1b; (2) 3D接雨水&#xff1a; 407. 接雨水 II &#xff1b; (3) 3D接雨水&#xff1a; 字节人都会的 3D接雨水 。 问题描述 难度&#xff1a;困难 给你一个 m x n 的矩阵&#xff…
阅读更多...
JMeter定时器（一）

JMeter定时器（一）

一 前言 环境： window 10 JMeter 5.3 二 定时器 定时器（Timers）的作用就是对取样器（sampler）的执行进行延迟，所以，定时器只对同作用域的取样器有意义 定时器会在其所处作用域内的取样器之前执行。把定时器添加为取样器的子节点，这样就会在取样器之前执行 1 固定定时器…
阅读更多...
SpringCloud-AMQP

SpringCloud-AMQP

【BV1LQ4y127n4】SpringAMQP是基于RabbitMQ封装的一套模板，并且还利用SpringBoot对其实现了自动装配，使用起来非常方便。 SpringAmqp官方地址：https://spring.io/projects/spring-amqpSpringAMQP提供了三个功能：自动声明队列、交换机及其绑定关系 基于注解的监听器模式，异…
阅读更多...
Pandas read_csv 参数详解

Pandas read_csv 参数详解

前言 在使用 Pandas 进行数据分析和处理时，read_csv 是一个非常常用的函数，用于从 CSV 文件中读取数据并将其转换成 DataFrame 对象。read_csv 函数具有多个参数，可以根据不同的需求进行灵活的配置。本文将详细介绍 read_csv 函数的各个参数及其用法，帮助大家更好地理解和利…
阅读更多...
倒计时开始！Big Demo Day第十二期，揭秘DePIN，探索Web3未来（附参会指南）

倒计时开始！Big Demo Day第十二期，揭秘DePIN，探索Web3未来（附参会指南）

香港—— 全球领先的 Web3.0 活动 Big Demo Day 第十二期即将于 4 月 26 日在香港数码港盛大举行。本次活动由知名科技企业 ZeeprLabs 赞助&#xff0c;Central Research 主办&#xff0c;并得到 Techub News 的联合主办以及数码港、852Web3 等机构的合作支持。 在过去的 11 期…
阅读更多...
【Hadoop】-HDFS的Shell操作[3]

【Hadoop】-HDFS的Shell操作[3]

目录 前言 一、HDFS集群启停命令 1.一键启停脚本可用 2.独立进程启停可用 二、文件系统操作命令 1、创建文件夹 2、查看指定目录下内容 3、上传文件到HDFS指定目录下 4、查看HDFS文件内容 5、下载HDFS文件 6、拷贝HDFS文件 7、追加数据到HDFS文件中 8、HDFS数据移…
阅读更多...
（数据科学学习手札160）使用miniforge代替miniconda

（数据科学学习手札160）使用miniforge代替miniconda

本文已收录至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes1 简介大家好我是费老师，conda作为Python数据科学领域的常用软件，是对Python环境及相关依赖进行管理的经典工具，通常集成在anaconda或miniconda等产品中供用户日常使用。但长久以来，conda在很…
阅读更多...
SHCG_Numerical_results

SHCG_Numerical_results

阅读更多...
uniapp：小白1分钟学会使用webSocket（可无脑复制）

uniapp：小白1分钟学会使用webSocket（可无脑复制）

uni.connectSocket() uni.$emit页面通信 项目中使用uni.connectSocket()创建webSocket的总结&#xff0c;代码可无脑复制&#xff0c;直接使用。 1、main.js 引入vuex import store from ./store; Vue.prototype.$store store;vuex中封装webSocket 2、vuex的&#xff1a;index…
阅读更多...
第十五届蓝桥杯省赛第二场C/C++B组G题【最强小队】题解

第十五届蓝桥杯省赛第二场C/C++B组G题【最强小队】题解

20pts 枚举所有可能的左端点、右端点&#xff0c;时间复杂度 O ( n 2 ) O(n^2) O(n2)。 对于每个区间进行遍历检测&#xff0c;时间复杂度 O ( n 3 ) O(n^3) O(n3)。 100pts 由于数据范围为 1 0 5 10^5 105&#xff0c;所以肯定只能进行一次枚举。 我们尝试枚举右端点&…
阅读更多...
【第3节】“茴香豆“：搭建你的 RAG 智能助理

【第3节】“茴香豆“：搭建你的 RAG 智能助理

目录 1 基础知识1.1.RAG技术的概述1.2 RAG的基本结构有哪些呢&#xff1f;1.3 RAG 工作原理&#xff1a;1.4 向量数据库(Vector-DB )&#xff1a;1.5 RAG常见优化方法1.6RAG技术vs微调技术 2、茴香豆介绍2.1应用场景2.2 场景难点2.3 茴香豆的构建&#xff1a; 3 论文快读 1 基础…
阅读更多...
推荐文章

Copyright @ 2022~2023