2024-06-03 · 更新 2026-03-03约 1 分钟 · 110 字大数据杂文记
00 flume的数据一致性问题
- put和take事务（数据可能重复，数据写入channel，但commit提交失败）
- filechannel（数据不丢）
flume选用原因
flume的拦截器
flume的组件
KafkaChannel的使用
- source，kafkachannel，sink
- kafkachannel，sink
- source，kafkachannel（选用原因）
选用kafkasource，filechannel，hdfsink；但不选用kafkachannel，hdfssink的原因
- 需要使用拦截器解决数据采集时的零点漂移问题
- 拦截器是在source端完成的
本文作者:hedeoer
本文链接:
版权声明:本博客所有文章除特别声明外，均采用 BY-NC-SA
许可协议。转载请注明出处！