Presto查询数据量过大时的参数调节
查询数据量过大,执行过程中途presto会报警
1 | query.max-memory、query.max-memory-per-node、query.max-total-memory-per-node、jvm |
会分别提示超出最大限制,调整参数配置防止任务被中断
调参过程:
应先调整jvm的大小,并重启机器,否则不生效
1 | # 切换root用户 |
将默认的-Xmx53369263620
调整后为-Xmx533692636200 约和497GB(近500GB)
调整 jvm后reboot重启,等待机器重连。
重复上面sudo-i 等命令vim /config.properties
分别将下图参数调整为800GB、40GB、55GB
默认的配比是query.max-memory-per-node的值在jvm重点的Xmx的10%左右
可通过 initctl list 查看所有正在运行的服务
1 | presto的服务为 presto-server,将其终止后重启 |
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 一叶秋枫!
评论