ELK Stack 8 接入ElasticFlow

news/2024/5/19 14:53:36

介绍

Netflow v5 / v9 / v10（IPFIX），支持大部分网络厂商及VMware的分布式交换机。

NetFlow是一种数据交换方式。Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。当汇集起来时，它更加易于管理和易读。Netflow由Cisco创造。而IPFIX是Netflow v9的开放标准实现。

同NetFlow一样，sFlow是一种向采集器发送报告的推送技术。所不同的是，NetFlow是一种基于软件的技术，而sFlow则采用内置在硬件中的专用芯片，这种做法消除了路由器或交换机的CPU和内存的负担，但也牺牲了灵活性。

本教程修改了ElasticFlow 4版本，以支持 Elasticsearch 8 ，还更新了Logstash 7到最新版本，Geo IP/AS地址库到最新版本。

已在Elasticsearch 8.13上测试过

单机部署教程：https://songxwn.com/elk/

ELK系列文章：https://songxwn.com/categories/linux/ELK/

注：多谢袖子Seven 大佬提供的Kibana 模板和帮助。

各种Flow 类型

Flow名称	代表厂商	主要版本	备注
NetFlow	Cisco	V1、V5、V7、V8、V9	应用最广
sFlow	Foundry、HP、Alcatel、NEC、Extreme等	V4、V5	实时性较强，具备突出的第二~七层信息描述能力。对设备性能开销低。
NetStream	华为、华三	V5、V8、V9	与NetFlow较为类似
IPFIX	IETF标准规范	RFC 3917	以NetFlow V9为蓝本，公共标准协议
CFlowd	Juniper	V5、V8	厂商跟进力度不高

ElasticFlow

ElasticFlow 是基于Logstash 7的修改版本，支持Netflow、IPfix、Sflow，自带模板。但目前已闭源。

注意事项

Docker网络使用主机模式，占用 2055、6343、4739端口。
本文章适用于接入现有的ES 8数据库。

使用Docker-compose部署

cd /opt
git clone https://github.com/Songxwn/elastiflow.git
# 下载配置文件
cd /opt/elastiflow
vim docker-compose.yml
# 修改配置文件，更改ES地址，账号、密码。
docker-compose pull
# 加载镜像
docker-compose up -d
# 启动镜像，静等几分钟。
ss -an | grep 2055
ss -an | grep 6343
ss -an | grep 4739
# 确认服务已启动。

配置文件示例

version: '3'
services:elastiflow-logstash:image: songxwn/elastiflow-logstash:4.8.12container_name: elastiflow-logstashrestart: 'unless-stopped'network_mode: hostenvironment:# JVM Heap size - this MUST be at least 3GB (4GB preferred)LS_JAVA_OPTS: '-Xms4g -Xmx4g'# ElastiFlow global configurationELASTIFLOW_AGENT_ID: elastiflowELASTIFLOW_GEOIP_CACHE_SIZE: 16384ELASTIFLOW_GEOIP_LOOKUP: 'true'ELASTIFLOW_ASN_LOOKUP: 'true'ELASTIFLOW_OUI_LOOKUP: 'false'ELASTIFLOW_POPULATE_LOGS: 'true'ELASTIFLOW_KEEP_ORIG_DATA: 'true'ELASTIFLOW_DEFAULT_APPID_SRCTYPE: '__UNKNOWN'# Name resolution optionELASTIFLOW_RESOLVE_IP2HOST: 'false'ELASTIFLOW_NAMESERVER: '127.0.0.1'ELASTIFLOW_DNS_HIT_CACHE_SIZE: 25000ELASTIFLOW_DNS_HIT_CACHE_TTL: 900ELASTIFLOW_DNS_FAILED_CACHE_SIZE: 75000ELASTIFLOW_DNS_FAILED_CACHE_TTL: 3600ELASTIFLOW_ES_HOST: 'http://127.0.0.1:9200'#ELASTIFLOW_ES_USER: 'elastic'#ELASTIFLOW_ES_PASSWD: 'changeme'ELASTIFLOW_NETFLOW_IPV4_PORT: 2055ELASTIFLOW_NETFLOW_UDP_WORKERS: 2ELASTIFLOW_NETFLOW_UDP_QUEUE_SIZE: 4096ELASTIFLOW_NETFLOW_UDP_RCV_BUFF: 33554432ELASTIFLOW_SFLOW_IPV4_PORT: 6343ELASTIFLOW_SFLOW_UDP_WORKERS: 2ELASTIFLOW_SFLOW_UDP_QUEUE_SIZE: 4096ELASTIFLOW_SFLOW_UDP_RCV_BUFF: 33554432ELASTIFLOW_IPFIX_UDP_IPV4_PORT: 4739ELASTIFLOW_IPFIX_UDP_WORKERS: 2ELASTIFLOW_IPFIX_UDP_QUEUE_SIZE: 4096ELASTIFLOW_IPFIX_UDP_RCV_BUFF: 33554432

ELASTIFLOW_ES_HOST 需要修改。
ELASTIFLOW_ES_USER 需要修改，如果无认证，则不需要取消注释。
ELASTIFLOW_ES_PASSWD 需要修改，如果无认证，则不需要取消注释。

索引模板创建

需要打开Kibana Web，在主菜单-Stack Management -开发工具执行。

PUT _index_template/template_
{"template": {"mappings": {"properties": {"client": {"type": "object","properties": {"geo": {"type": "object","properties": {"location": {"type": "geo_point"}}}}},"server": {"type": "object","properties": {"geo": {"type": "object","properties": {"location": {"type": "geo_point"}}}}}}}},"index_patterns": ["elastiflow-*"],"allow_auto_create": true
}

Kibana 模板导入

模板下载：https://songxwn.com/file/elastiflow4.kibana.8.x.ndjson

需要打开Kibana Web，在主菜单-Stack Management -已保存对象导入。

交换机Sflow配置实例

Juniper

protocols sflow {polling-interval 20;sample-rate 1000;collector 10.204.32.46;interfaces ge-0/0/0.0;
}

MikroTik ROS 配置IPFIX

/ip traffic-flow
set cache-entries=1M enabled=yes interfaces=ether2
/ip traffic-flow target
add dst-address=2.2.2.2 src-address=1.1.1.1 v9-template-refresh=15 version=ipfix

ELK 自带插件-可不看

Logstash 自带配置示例

input {udp {port  => 2055codec => netflow}
}

Filebeat 配置示例

- module: netflowlog:enabled: truevar:netflow_host: 0.0.0.0netflow_port: 2055

[root@cncs ~]# filebeat modules enable netflow
Enabled netflow
[root@cncs ~]# filebeat modules list
Enabled:
netflow
Disabled:
activemq
......

参考

https://www.elastic.co/guide/en/logstash/current/plugins-codecs-netflow.html

https://www.elastic.co/guide/en/beats/filebeat/8.7/filebeat-module-netflow.html

https://www.eflytop.com/post/elk-netflow/