浅析Kafka技术在公交智能调度的应用
随着信息化技术不断发展，公交信息系统建设不断健全，尤其是随着智能调度系统的不断完善，各种系统整合进大数据，业务平台的消息处理变得尤为复杂，可以借助Kafka技术对大量的数据进行高效快速地处理。
1、Kafka技术
Kafka是一种快速、可扩展、可持久和高容错的发布-订阅消息系统（publish-subscribe messaging system），主要应用于实时信息流的大数据收集或者实时分析。可以与Flume/Flafka、Spark Streaming、Storm、HBase、Flink以及Spark配合使用，用于实时获取、分析和处理流数据。Kafka是一个分布式流式处理平台，主要有两大应用场景，分别是消息队列和数据处理。
2、Kafka技术的特点
高容错性：集群中任意一个broker节点宕机，Kafka仍能对外提供服务。
3、Kafka技术架构
济南公交智能调度系统依托定位、移动互联网等技术，将车载终端实时获取的定位数据上传至后台，这些海量实时的数据是班次班制的基础，需要巨大的计算能力对后台数据进行处理，Kafka技术对实时数据进行高效解析、存储和分析，能够满足高吞吐、高可用的业务需求，Kafka结构图如下（图片来源网络）：
4、Kafka技术应用
（2）日志收集的应用 Kafka技术可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer。Kafka是分布式的消息缓存系统，用于日志处理的分布式消息队列，具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，能够提供离线处理和实时处理，可以使用Storm实时流处理系统对消息进行实时在线处理，同时使用Hadoop这种批处理系统进行离线处理。Kafka处理日志数据容量大，日志数据主要包括用户登录、浏览、点击及系统运行日志。 （3）数据分析 济南公交智能调度系统云存储和云分析的运行需要巨大的计算和存储资源，采用Hadoop、Spark、云存储、云计算等分布式处理方式实时分析海量的定位数据，数据输入到Kafka消息队列中，然后把接收的数据交给Storm的计算框架进行流式的比较分析处理，最终输出预期结果，并第一时间发送到调度终端，实现了智能化、高效率的计算和分析。同时能做到精准的预测，快速地把预测结果发布到相关乘客信息系统中。
（4）运营指标的应用
Kafka技术用来记录运营监控数据，包括搜集各种分布式应用的数据，各种报警、报告等数据的集中反馈。同时Kafka Broker进程用来监控Kafka集群Broker所在的节点机器的性能。
参考文献：
百度百科
更多阅读