%A 易佳,薛晨,王树鹏 %T 分布式流数据加载和查询技术优化 %0 Journal Article %D 2017 %J 计算机科学 %R 10.11896/j.issn.1002-137X.2017.05.031 %P 172-177 %V 44 %N 5 %U {https://www.jsjkx.com/CN/abstract/article_772.shtml} %8 2018-11-13 %X 分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。