【大数据】学习笔记

news/2024/5/20 20:24:36

文章目录

    • @[toc]
      • NAT配置
      • IP配置
        • SecureCRT配置
          • Properties
            • Terminal
      • Java安装
        • 环境变量配置
      • Hadoop安装
        • 修改配置文件
          • hadoop-env.sh
          • yarn-env.sh
          • slaves
          • core-site.xml
          • hdfs-site.xml
          • mapred-site.xml
          • yarn-site.xml
        • 环境变量配置
      • IP与主机名映射关系配置
        • hostname配置
        • 映射关系配置
      • 关闭防火墙
        • 防火墙临时关闭
        • 防火墙永久关闭
      • 关闭SELinux
        • SELinux临时关闭
        • SELinux永久关闭
      • 建立互信关系
        • 将公钥文件id_rsa.pub拷贝到authorized_keys
        • 修改权限
        • 将slave_1、slave_2的公钥拷贝到master的authorized_keys
        • 远程拷贝
        • 测试互信关系
      • Hadoop启动
        • NameNode格式化
        • 报错解决

因上努力

个人主页:丷从心·

系列专栏:大数据

果上随缘


NAT配置

  • 编辑 → \rightarrow 虚拟网络编辑器 → \rightarrow 移除 V M n e t 8 → VMnet8 \rightarrow VMnet8添加 V M n e t 8 → N A T VMnet8 \rightarrow NAT VMnet8NAT模式
  • 初始化:桥接模式-> N A T NAT NAT模式

IP配置

DEVICE=eth0
BOOTPROTO=static
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.123.10
NETMASK=255.255.255.0
GATEWAY=192.168.123.2
DNS1=202.106.0.20
HWADDR=00:0c:29:1e:d0:84

SecureCRT配置
Properties
Terminal
  • E m u l a t i o n Emulation Emulation
    • T e r m i n a l → L i n u x Terminal \rightarrow Linux TerminalLinux
    • S c r o l l b a c k b u f f e r → 128000 Scrollback \ buffer \rightarrow 128000 Scrollback buffer128000
  • A p p e a r a n c e Appearance Appearance
    • C u r r e n t c o l o r s c h e m e → T r a d i t i o n a l Current \ color \ scheme \rightarrow Traditional Current color schemeTraditional
    • C h a r a c t e r e n c o d i n g → U T F − 8 Character \ encoding \rightarrow UTF-8 Character encodingUTF8

Java安装

环境变量配置
vim ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk_1.8.0_111
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

Hadoop安装

修改配置文件
hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
yarn-env.sh
vim yarn-env.sh
export JAVA_HOME=${JAVA_HOME}
slaves
vim slaves
slave1
slave2
core-site.xml
vim core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>指定默认的文件系统</description> </property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/src/hadoop_2.6.1/tmp</value><description>Hadoop 临时文件存放目录</description> </property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value><description>SecondaryNameNode 地址和端口</description> </property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/src/hadoop_2.6.1/dfs/name</value><description>fsimage 镜像存放目录</description> </property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/src/hadoop_2.6.1/dfs/data</value><description>HDFS 数据文件存放目录</description> </property><property><name>dfs.replication</name><value>3</value><description>Block 副本数</description> </property>
</configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>指定运行 MapReduce 的环境是 Yarn</description> </property><property><name>mapreduce.map.memory.mb</name><value>1536</value><description>调度器为每个 Map Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值,则会被强制杀死</description> </property><property><name>mapreduce.map.java.opts</name><value>-Xmx1024M</value></property><property><name>mapreduce.reduce.memory.mb</name><value>3072</value><description>调度器为每个 Reduce Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值, 则会被强制杀死</description> </property><property><name>mapreduce.reduce.java.opts</name><value>-Xmx2560M</value></property><property><name>mapreduce.job.reduce.slowstart.completedmaps</name><value>0.1</value><description>当 Map Task 完成 10% 时, 为 Reduce Task 申请资源, Reduce Task 开始进行拷贝 Map Task 结果数据和执行 Reduce Shuffle 操作, 默认值为 0.05</description></property> <!--Hadoop 历史服务器--><property><name>mapreduce.jobhistory.address</name><value>master:10020</value><description>MapReduce JobHistory 服务器进程间通信地址</description></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value><description>MapReduce JobHistory 服务器的 Web UI</description></property><property><name>mapreduce.jobhistory.done-dir</name><value>/mr-history/done</value><description>已执行完毕的作业信息存放目录</description></property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/mr-history/tmp</value><description>正在运行的作业信息存放目录</description></property><property><name>yarn.app.mapreduce.am.staging-dir</name><value>/mr-history/hadoop-yarn</value><description>MapReduce 作业提交时所使用的临时目录</description></property> 
</configuration>
yarn-site.xml
vim yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager 上运行的附属服务</description> </property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value><description>客户端访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value><description>ApplicationMaster 访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8035</value><description>NodeManager 访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value><description>管理员访问 ResourceManager 的地址</description> </property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value><description>Web UI 访问 ResourceManager 的地址</description> </property><!--关闭内存检查--><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value><description>是否启动一个线程检查每个任务正使用的物理内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value><description>是否启动一个线程检查每个任务正使用的虚拟内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description></property> <!--日志聚合--><property><name>yarn.log-aggregation-enable</name><value>true</value><description>开启日志聚合功能, 日志保存在 HDFS 上</description></property><property><name>yarn.log-aggregation.retain-seconds</name><value>86400</value><description>聚合后的日志在 HDFS 上的保存时间, 单位为秒</description> 	</property><property><name>yarn.log.server.url</name><value>http://master:19888/jobhistory/logs</value><description>日志聚合服务器 URL</description></property> 
</configuration>
环境变量配置
vim ~/.bashrc
export HADOOP_HOME=/usr/local/src/hadoop_2.6.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

IP与主机名映射关系配置

hostname配置
  • h o s t n a m e hostname hostname临时生效
hostname master
  • h o s t n a m e hostname hostname永久生效
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
映射关系配置
vim /etc/hosts
192.168.123.10 master
192.168.123.11 slave1
192.168.123.12 slave2

关闭防火墙

防火墙临时关闭
systemctl stop firewalld.service
防火墙永久关闭
systemctl disable firewalld.service

关闭SELinux

SELinux临时关闭
setenforce 0
SELinux永久关闭
vim /etc/selinux/config
SELINUX=disabled

建立互信关系

ssh-keygen -t rsa
cd ~/.ssh
将公钥文件id_rsa.pub拷贝到authorized_keys
cat id_rsa.pub > authorized_keys
修改权限
chmod 600 authorized_keys
将slave_1、slave_2的公钥拷贝到master的authorized_keys
ssh slave1 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
远程拷贝
scp -rp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
测试互信关系
ssh slave1

Hadoop启动

NameNode格式化
  • 第一次启动 H a d o o p Hadoop Hadoop需要对 N a m e N o d e NameNode NameNode进行格式化
hadoop namenode -format
报错解决
2734 -- main class information unavailable
rm -rf /tmp/hsperfdata_root/


http://www.mrgr.cn/p/20634427

相关文章

interp2函数最临近nearest测试

code clear all; close all;clc; % 假设这是我们的原始数据&#xff0c;一个30x60的网格&#xff0c;表示经度和纬度 % 这里使用随机数创建一个示例矩阵&#xff0c;实际应用中应当使用真实的海拔高度数据 longitude linspace(0, 180, 30); latitude linspace(-90, 90, 60);…

【隧道篇 / WAN优化】(7.4) ❀ 03. WAN优化的原理 ❀ FortiGate 防火墙

【简介】相信对WAN优化感兴趣的人都会有疑问&#xff0c;WAN优化真的有作用吗&#xff1f;如果真的有作用&#xff0c;那是根据什么原理呢&#xff1f;让我们来更深入的了解一下。 客户端和服务器端 其实很多人在一开始看到WAN优化这个词&#xff0c;就自然的以为上网速度太慢&…

照片生成ai漫改头像生成漫画全套教程免费(自取)

今天给大家分享一一个AI漫改头像&#xff0c;轻松日增1000&#xff0c;简单操作好上手的一个互联网新项目&#xff0c;哈那其实AI漫改头像也火了差不多有半年左右了&#xff0c; 那其实利用AI软件将真人的照片生成漫画的形象&#xff0c;这个看起来很简单的方法却在小红书上大…

压缩归档库-Snappy介绍

1.简介 Snappy 是一个 C 编写的压缩和解压缩库&#xff0c;由 Google 开发。它专为速度而设计&#xff0c;而不是最大压缩率或与其他压缩库的兼容性。 Snappy 通常用于需要快速压缩和解压缩的场景。 Snappy具有以下属性&#xff1a; 快速&#xff1a;压缩速度达到250 MB/秒及…

安装oh-my-zsh(命令行工具)

目录一、安装zsh、git、wget二、安装运行脚本1、curl/wget下载2、手动下载三、切换主题1、编辑配置文件2、切换主题四、安装插件1、zsh-syntax-highlighting(高亮语法错误)2、zsh-autosuggestions(自动补全)五、更多优化配置 一、安装zsh、git、wget安装oh-my-zsh的前提需要…

CH592 蓝牙透传模块

设备架构串口透传协议说明 模块通过串口和用户MCU相连,建立用户MCU 和 BLE 设备之间的双向通讯。 用户可以通过串口,使用指定的AT指令对串口波特率、BLE连接间隔,以及不同的发包间隔,模块将会有不同的数据吞吐能力。 串口默认配置为 115200bps。 模块的串口Rx一次最大可输入…

TSINGSEE青犀视频边缘计算AI智能分析网关V4告警消息语音推送的配置流程

TSINGSEE青犀视频边缘计算硬件智能分析网关V4内置了近40种AI算法模型&#xff0c;支持对接入的视频图像进行人、车、物、行为等实时检测分析&#xff0c;上报识别结果&#xff0c;并能进行语音告警播放。今天我们来分享一下如何配置和使用AI智能分析网关V4的语音推送。 提前准备…

【UE5学习笔记】编辑及运行界面:关闭眼部识别(自动曝光)

自动曝光&#xff0c;也就是走进一个黑暗的环境&#xff0c;画面会逐渐变量&#xff0c;以模拟人眼进入黑暗空间时瞳孔放大&#xff0c;进光量增加的一种真实视觉感受&#xff1a; 制作过程中是否关闭自动曝光&#xff0c;取决于游戏的性质&#xff0c;但是个人认为&#xff0c…

项目冲刺——第三篇Scrum冲刺博客

作业所属课程 所属课程作业要求 作业要求作业目标 总结第二天的敏捷开发,安排好第三天敏捷开发冲刺一、站立式会议 1、会议图片2、昨天已完成的内容成员 任务肖杨、梁丽贤 完成注册登陆页面设计黄诃华、欧文杰 完成用户注册登陆功能姚佳如、李慧娣 完成发布帖子模块的设计廖莹…

93、动态规划-最长回文子串

思路 首先从暴力递归开始&#xff0c;回文首尾指针相向运动肯定想等。就是回文&#xff0c;代码如下&#xff1a; public String longestPalindrome(String s) {if (s null || s.length() 0) {return "";}return longestPalindromeHelper(s, 0, s.length() - 1);…

大模型微调实战之强化学习 贝尔曼方程及价值函数(五)

大模型微调实战之强化学习 贝尔曼方程及价值函数&#xff08;五&#xff09; 现在&#xff0c; 看一下状态-动作值函数的示意图&#xff1a; 这个图表示假设首先采取一些行动(a)。因此&#xff0c;由于动作&#xff08;a&#xff09;&#xff0c;代理可能会被环境转换到这些状…

团队作业4——项目冲刺 第3篇 Scrum 冲刺博客

这个作业属于哪个课程 软件工程这个作业要求在哪里 团队作业4——项目冲刺这个作业的目标 团队完成任务的分配,明确团队每个人在接下来七天敏捷冲刺的目标其他参考文献这个作业所属团队 SuperNewCode团队成员 张楠 曾琳备 黄铭涛 张小宇 周广1.每日举行站立时会议2.燃尽图3.每…

牛客NC97 字符串出现次数的TopK问题【中等 哈希+优先级队列 Java/Go】

题目 题目链接&#xff1a; https://www.nowcoder.com/practice/fd711bdfa0e840b381d7e1b82183b3ee 核心 哈希&#xff0c;优先级队列Java代码 import java.util.*;public class Solution {/*** 代码中的类名、方法名、参数名已经指定&#xff0c;请勿修改&#xff0c;直接返…

计算机组成原理网课笔记

无符号整数的表示与运算 带符号整数的表示与运算 原反补码的特性对比 移码 定点小数

linux增加环境变量示例

首先,通过 vim ~/.bashrc 命令进入我这个用户的.bashrc文件内 然后在这个文件末尾添加环境变量,比如下面红框中的内容表示添加了路径/home/nfs_new/wangpeng/VSCode-linux-x64/bin为环境变量,实际上这里是把vscode启动命令添加作为环境变量了。其中, $PATH 表示之前所有的…

go学习笔记——Kratos框架

官方文档https://go-kratos.dev/en/docs/getting-started/start/1.安装Go 参考:mac安装go1.20 2.安装Kratos框架 kratos依赖protobuf grpc等框架,需要先进行安装brew install grpc brew install protobuf brew install protoc-gen-go brew install protoc-gen-go-grpc验证pro…

js逆向,参数加密js混淆

关键词 JS 混淆、源码乱码、参数动态加密 逆向目标 题目1&#xff1a;抓取所有&#xff08;5页&#xff09;机票的价格&#xff0c;并计算所有机票价格的平均值&#xff0c;填入答案。 目标网址&#xff1a;https://match.yuanrenxue.cn/match/1目标接口&#xff1a;https://ma…