Filebeat课程

一、FileBeat 基础概述1. 定位与作用Filebeat 是 Elastic 官方推出的轻量级日志采集器基于 Go 语言开发无 Java 依赖、资源占用极低专门用于采集本地文件日志常作为 ELK/EFK 架构的日志输入端。核心定位日志轻采集客户端解决 Logstash 资源开销大的问题配套生态输出可对接 Elasticsearch、Logstash、Kafka、Redis、File、Console 等核心优势低 CPU / 内存、原生断点续传(registry)、多行合并(multiline)、日志过滤、自动文件发现。2.EFK/ELK 架构角色Filebeat采集服务器本地日志文件轻量化也可以微处理Logstash可选日志清洗、过滤、字段转换复杂处理用Elasticsearch日志存储、检索、聚合(存储➕超强检索)Kibana可视化、日志查询、告警面板(面板)。标准两条链路简单链路Filebeat → Elasticsearch → Kibana复杂清洗链路Filebeat → Kafka → Logstash → Elasticsearch → Kibana3. 核心组件构成Filebeat 内部两大核心模块Inputs输入源定义要采集哪些文件、采集规则最常用 filestream inputOutputs输出端定义日志发往何处ES/Logstash/Kafka 配套功能组件Processor本地轻量日志过滤、字段修改替代简单 Logstash 逻辑Modules内置日志解析模板nginx、mysql、tomcat、systemd 等开箱即用Registry断点续传注册文件记录文件偏移量二、核心工作原理1. 日志采集流程文件发现根据 inputs 配置的路径通配符扫描日志文件状态记录Registry默认路径./data/registry/filebeat持久化存储每个文件的读取偏移量、inode、设备号重启 Filebeat 不会重复采集已读日志实现断点续传逐行读取打开文件从 registry 记录的 offset 开始读取多行合并Multiline堆栈日志、Java 异常多行合并为一条日志Processor 本地处理切割字段、删除无用字段、过滤脏数据队列缓存内存队列mem_queue缓存日志批量发送Output 批量推送批量输出到目标服务失败自动重试。2. 文件追踪机制关键解决日志切割、文件改名通过三元组唯一标识文件inode 设备ID 文件路径日志切割logrotate原日志app.log重命名为app.log.1新建空app.logFilebeat 通过 inode 识别旧文件app.log.1读完切换读取新文件app.log文件删除 / 轮转配置close_*系列参数空闲超时后关闭文件句柄释放资源close_inactive关闭文件打开数,clean_inactive去除registry中的offset软链接原生支持软链接日志文件采集。3. Registry 断点续传机制数据持久化到磁盘 json 文件不会丢偏移风险场景直接删除 registry 目录 → 重启后全量重新采集所有日志日志文件被清空、inode 不变 → 从原有 offset 继续读不会重复。三、完整配置文件详解filebeat.yml配置分为 6 大模块Inputs、Global、Multiline、Processors、Output、Advanced 调优1. 全局基础配置(fileabeat自身的配置,比如自己的日志)# 日志级别critical/error/warning/info/debug logging.level: info # 日志输出位置 logging.to_files: true logging.files.path: ./logs logging.files.name: filebeat.log # 注册文件存储路径断点续传核心 filebeat.registry.path: ./data/registry # 多久持久化一次偏移默认5s filebeat.registry.flush: 5s # 最大同时打开文件句柄数 filebeat.max_open_files: 642. Inputs 输入配置filestream 主流替代旧 prospectorfilebeat.inputs: - type: filestream # 标准文件采集类型 enabled: true # 日志路径支持通配符 paths: - /var/log/nginx/*.log - /data/app/logs/*.log - /data/tomcat/catalina.out # 排除文件 exclude_files: [.gz$] # 采集起始模式 # begin从头读全部日志end只采集新增日志线上默认 start_position: end # 文件关闭策略释放句柄 # 文件多久无新日志就关闭句柄 close_inactive: 5m # 文件被重命名/轮转后多久关闭 close_renamed: true # 文件删除后关闭 close_removed: true # 强制定时关闭所有文件避免句柄泄露 close_eof: false # 扫描文件间隔 scan_frequency: 10s # 多久扫描一次目录找新文件 # 多行合并Java异常、堆栈必开 multiline.type: pattern multiline.pattern: ^[0-9]{4}-[0-9]{2}-[0-9]{2} # 匹配日志开头时间 multiline.negate: true # 不匹配上面规则的行归为上一条日志 multiline.match: after # 合并到上一行后面 multiline.max_lines: 500 # 最多合并行数防止超大日志 # 自定义日志标签用于ES区分业务 tags: [nginx, prod] # 自定义字段 fields: app: nginx-service env: production # 自定义字段是否顶层存储false则放入fields子对象 fields_under_root: falseInput 其他类型tcp采集 TCP 端口日志udpUDP 日志stdin标准输入container容器标准输出日志Docker/K8s。3. Processors 本地预处理无依赖轻量清洗所有采集日志统一预处理无需 Logstashprocessors: # 1. 删除无用字段 - drop_fields: fields: [agent.ephemeral_id, input.type] # 2. 过滤丢弃指定日志过滤健康检查、垃圾日志 - drop_event: when: contains: message: health check # 3. 添加自定义字段 - add_fields: target: fields: region: hunan # 4. 日志行裁剪去除首尾空格 - trim_message: # 5. 多行日志合并也可写在input内 # 6. 时间格式化、IP解析、JSON解码 - decode_json_fields: fields: [message] overwrite_keys: true # json字段覆盖顶层 add_error_key: true # json解析失败添加error标记 # 7. 切割URL、提取状态码、用户UA等 - dissect: tokenizer: %{time} %{status} %{url} field: message4. Output 输出配置4 种主流输出1输出到 Elasticsearch直连方案output.elasticsearch: hosts: [127.0.0.1:9200, es02:9200] # 认证 username: elastic password: xxxx # 索引命名支持时间变量 index: filebeat-nginx-%{YYYY.MM.dd} # 批量发送大小 bulk_max_size: 1000 # 并发连接数 worker: 2 # 压缩传输 compression_level: 5 # 失败重试 retry.backoff.init: 1s retry.backoff.max: 60s2输出到 Kafka高并发削峰生产推荐output.kafka: hosts: [kafka01:9092, kafka02:9092] topic: log-nginx-prod partition.round_robin: reachable_only: false # 批量条数 bulk_max_size: 2048 # 压缩 compression: snappy # kafka认证 sasl/plain sasl.mechanism: PLAIN sasl.user: admin sasl.password: xxx3输出到 Logstash复杂清洗场景output.logstash: hosts: [127.0.0.1:5044] worker: 2 ssl.enabled: false4输出到控制台调试output.console: pretty: true5. 监控配置Metricbeat 监控 Filebeat 自身monitoring.enabled: true monitoring.elasticsearch: hosts: [127.0.0.1:9200]6. Modules 内置日志解析模块Filebeat 内置现成日志解析模板自动提取字段nginx、mysql、redis、system、tomcat、docker 等# 启用nginx模块 filebeat.modules: - module: nginx access: enabled: true var.paths: [/var/log/nginx/access.log] error: enabled: true启用后自动解析 status、request_time、ip、url、ua 等字段无需手动 dissect。四、核心调优参数生产必配1. 发送性能调优# 内存队列缓存未发送日志 queue.mem: events: 4096 # 队列最大日志条数 flush.min_events: 512 # 攒够多少条发送 flush.timeout: 1s # 最多等待多久发送一次两个条件触发一个即可 output.elasticsearch.bulk_max_size: 1000 # 单次bulk条数,超过这个分多次发送 output.elasticsearch.worker: 4 # 并发发送线程2. 文件句柄与资源释放close_inactive: 5m闲置 5 分钟关闭句柄避免上千文件占满句柄scan_frequency: 10s高频日志可改为 1s消耗少量 CPUfilebeat.max_open_files服务器 ulimit 要大于该值否则报错句柄不足。3. 防日志丢失 / 重复丢失场景Filebeat 宕机、队列未刷出 → 开启持久队列disk queuequeue.disk: enabled: true path: ./data/diskqueue max_size: 10G磁盘队列会缓存未发送日志进程重启不丢数据 2.重复采集场景删除 registry 目录、日志回滚、ES 重复消费 → 依靠 ES_id去重(自己实现)或 kafka 幂等(手写代码实现)。五、常用命令Linux1. 配置校验上线前必执行# 校验yaml语法 filebeat test config -c /etc/filebeat/filebeat.yml # 校验输入源能否读取文件 filebeat test inputs -c /etc/filebeat/filebeat.yml # 校验输出连通性ES/Kafka filebeat test output -c /etc/filebeat/filebeat.yml2. 前台调试运行看实时日志filebeat -e -c /etc/filebeat/filebeat.yml3.模块命令#列出模块 filebeat modules list #启动 filebeat modules enable nginx #关闭 filebeat modules disable nginx4.模板和图标filebeat setup #一次性初始化工具上传es的模板信息(定义字段类型)、kibana图表(不用自己创造仪表板)六、高频生产问题与解决方案1. Filebeat 重复采集日志原因registry 被删除、inode 变更、文件被清空、服务异常重启 解决禁止手动删除 registrystart_position: end 线上默认ES 使用文档 ID 做幂等避免重复索引。2. 日志丢失宕机丢日志原因默认内存队列未发送日志存在内存进程销毁丢失 解决开启queue.disk磁盘持久队列。3. 文件句柄泄露too many open files原因close_inactive 时间过长大量日志文件打开不释放 解决调小 close_inactive3-5 分钟调高系统 ulimit -n。4. Java 异常堆栈日志拆分成多条原因未配置 multiline 多行合并 解决匹配日志时间开头negatetrue 合并堆栈。5. 采集日志极慢、堆积严重优化方案增大 mem queue、bulk_max_size、worker 并发缩短 flush.timeout中间加 Kafka 削峰避免直连 ES 压力过大过滤无用日志减少传输量drop_event processor。6. logrotate 切割日志后不读取新文件解决close_renamed: truescan_frequency 缩短至 5s 内。7. JSON 日志 message 未解析全存在 message 字段解决添加 decode_json_fields 处理器自动拆分 json 为独立字段。