调优思路
分析wordcount、identity、fixwindow测试用例所涉及的处理流程如下:
- wordcount
数据从Kafka对应topic中读取,流至下游SplitStreamBolt中将数据split,只使用数据中带的IP信息,并将IP信息和该消息的时间作为一对Values传递至下一级WordCountBolt中,该bolt负责将接收到的IP信息进行计数统计,并使用当前系统时间作为结束时间与消息生成时间求差值得到一次数据流的具体时延,最后使用kafkaReporter类将该结果写入Kafka对应的topic中。
- identity
数据从Kafka对应topic中读取,流至下游IdentityBolt,该bolt只将接收到的消息进行解析,不做其他处理,之后使用与wordcount用例相同的方式进行当前数据流时延信息的统计,并将数据发送至对应的topic中。
- fixwindow
数据从Kafka对应Topic中读取,流至下游ParserBolt,该bolt将接收到的消息进行解析并发送至SlidingWindowBolt,该bolt负责一次性处理固定窗口大小内的全部数据,对数据进行count操作,每次操作的时延计算方式为,取操作完成时的系统时间减去该组窗口中所有数据生成时间的最小值,最后使用kafkaReporter类将该结果写入Kafka对应的Topic中。
父主题: 调优概述