当前位置: 首页 > news >正文

Trino大量查询会导致HDFS namenode主备频繁切换吗?

会,且肯定会

一、背景
今天还没起床就被智能运维叫醒了,说通过namenode审计日志查看访问源ip有我们的trino集群,并且访问量比较大,起床气范了,这不很正常吗,早上一般都是跑批高峰,也不一定是我们trino的问题,必须按时上班。
到了工位联系运维,被告知也不一定是我们的trino引起的namenode主备节点切换,因为那个时间段,有很多系统会访问大数据平台,不管怎样,既然有警告就得排查,秉承认真负责的态度去查看了日志,然并卵,没看出我们系统有什么问题,于是还是了解一下trino怎么取hdfs数据的流程。

二、复现问题
在测试环境,开启测试,在高并发加持下,在开始测试的3s中终于把大数据平台的测试环境的nn主备切换了,大数据平台弱爆了,实话讲我这边还没真正开始测,因为启动报错了,就被其它系统压爆了,这多半不是或者严谨的这次切换我们trino系统贡献值比较低。

三、建议你去回顾以下hdfs读写流程
此处省略一个hadoop工程师

四、尝试开启缓存或者本地缓存减少对namenode访问
以上举措均无效,无论是在hive.properties中加入cache相关的参数配置,还是开启本地缓存,缓存数据到本地worker节点,每次提交sql都会访问nn,并且访问次数一样

五、反思

  1. 确认是否缓存了元数据信息,是在哪个环节缓存了块信息,这个很重要
  2. 确认表结构设计不合理,小文件是否过多,在未给出具体的量化指标之前,要相信并且请求namenode的操作不会对namenode造成很大影响;

说了一大堆废话,如果有问题,那就把问题甩在下方评论区吧!!!


http://www.mrgr.cn/news/17961.html

相关文章:

  • LRU Cache
  • 5.12 飞行控制——PID参数优化
  • Oracle手动误删物理上的数据文件解决办法
  • 多头切片的关键:Model 类 call解释;LlamaModel 类 call解释;多头切片的关键:cache的数据拼接
  • three.js 开发粒子系统
  • RK3568平台(内存篇)Linux内存管理
  • 如何判断请求是否为跨域请求?——详细教程
  • 【负载均衡】
  • 【安卓13】解决HDMI OUT和耳机等设备接入时会解除静音问题
  • 大数据测试知识架构与技术框架分享|大数据测试工程师学习方向
  • 这一届“出道”的数字人,已经拿捧上了“铁饭碗”
  • 如何读懂以太坊源代码
  • C++刷题之二:vector迭代器的使用
  • springboot 配置ssl支持https
  • 43款最新泛微Ecology9精品应用(一键导入,轻松上手)
  • Axure健康助理小程序原型图70+页,医疗类高保真高交互模板
  • JAVAEE初阶第三节——多线程进阶
  • free命令
  • kuiperInfer学习笔记
  • 共享自助台球厅小程序系统