EMR Spark Runtime Filter性能优化

  • 时间:
  • 浏览:0
  • 来源:大发快三代理—大发大发彩票app

目前在SparkSQL中含Filter下推优化,包括一个多多维度:

利用生成的Filter算子还都要优化,比如:

隐式推断

SparkSQL会从用户的SQL说说中获取到Filter

推断出Filter(b=1) on B

生成Filter(a=1) on A

直接显示获取

Join是一个多多非常耗费资源耗费时间的操作,有点是数据量很大的清况 下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 可能你们歌词 都都都可否 尽可能的在靠近源背后减少参与计算的数据,一方面还都要提高查询性能,个人面也还都要减少资源的消耗(网络/IO/CPU等),在同样的资源的清况 下还都要支撑更多的查询。