Kafka学习笔记（1）——概念

概念

Kafka是一个分布式、支持分区、多副本、基于ZooKeeper协调的分布式消息系统.

优点

• 高吞吐, 低延迟: 最高每秒处理千万级别的消息, 延迟最低只有几毫秒;
• 扩展性: Kafka集群支持热扩展;
• 持久性、可靠性: 消息持久化到磁盘, 防止消息丢失;
• 容错性: 允许集群中节点失败;
• 高并发: 支持数千个客户端同时读写.

使用场景

• 日志收集: 收集各种服务的log, 以统一接口开放给各种下游消费者;
• 消息队列: 解耦生产者、消费者, 缓存消息;
• 用户活动跟踪: 记录用户活动信息, 订阅者订阅相关Topic进行实时监控分析;
• 运营指标: 记录运营监控数据, 比如警告和报告;
• 流式处理: 例如Spark Streaming, Storm.