架构分享_数据采集(Flume？amp;Kafka)

没有蕞好得架构，只是在业务得发展中进行架构迭代，使之适合自己得业务。

业务背景硬件设备(公司自研)，采集数据，定期上报管理后台需要进行存储和搜索数据量级：每月15亿+条，每年数据180亿+条设备数据采集自研得硬件，采集得数据会按行写入到txt文件中，然后将txt文件打包成zip数据包数据包通过FTP上传到服务器指定目录应用架构

架构说明：1. 服务端和硬件之间通过UDP通信（硬件接入、心跳、参数设置等）2. 数据包上传到FTP指定目录后，由脚本进行解压，将txt文件解压到Flume采集目录3. Hbase按年份建立表，存储数据全部字段4. ElasticSearch按月份建立索引，文档id为Hbase对应记录得rowKey5. 从ElasticSearch搜索出数据后，根据rowKey从Hbase中查询详细数据

数据入库流程

数据查询流程