Openshift自定义Router成倍提升集群性能

一个关于K8S的故事

为什么要自定义Router

• Openshift的Router节点其实就是一个Haproxy容器应用，这个已经不是什么秘密了。我们平常使用时，不需要关心Haproxy的配置，因为它的默认配置完全满足绝大多数情况的需求。

• 但是它的默认配置并没有把最大的性能发挥出来，这时就需要我们对Haproxy的配置进行自定义了。

• 如果你需要实现一些新的功能，比如说将Mysql通过Router对外提供服务等

怎样自定义Router

• Router Pod根据haproxy-config模板创建haproxy.conf配置文件，默认文件为/var/lib/haproxy/conf/haproxy-config.template

• Router Haproxy镜像启动时会根据环境变量TEMPLATE_FILE来选择最终使用的模板文件

• 向Router Pod中放入自定义的模板文件，并将它的路径传给环境变量TEMPLATE_FILE

• 模板文件中的相关函数

自定义Router配置实战

1. 导出Router默认的模板文件

$ oc rsh router-1-pod -n default cat haproxy-config.template > haproxy-config.template

1. 更改haproxy-config.template，添加nbthread支持 3.10以上版本已添加了该变量

...
global
  nbthread {{env "ROUTER_NBTHREAD" "1"}}
  cpu-map auto:1/1-{{env "ROUTER_NBTHREAD" "1"}} 1-{{env "ROUTER_NBTHREAD" "1"}}
...

1. 创建ConfigMap

$ oc create configmap customrouter --from-file=haproxy-config.template

1. 挂载ConfigMap，设置环境变量

#### *3.9* 版本$ oc volumes dc/router --add --overwrite \
    --name=config-volume \
    --mount-path=/var/lib/haproxy/conf/custom \
    --source='{"configMap": { "name": "customrouter"}}'$ oc set env dc/router \
    TEMPLATE_FILE=/var/lib/haproxy/conf/custom/haproxy-config.template#### *3.11* 版本$ oc set volumes dc/router --add --overwrite \
    --name=config-volume \
    --mount-path=/var/lib/haproxy/conf/custom \
    --source='{"configMap": { "name": "customrouter"}}'$ oc set env dc/router \
    TEMPLATE_FILE=/var/lib/haproxy/conf/custom/haproxy-config.template

1. 等待Router自动重启，使用新的配置模板

$ oc rsh router-2-pod -n default cat haproxy.conf

测试结果

通过设置环境变量ROUTER_NBTHREAD的值，使用Jmeter对应用进行压力测试

从中可以看出，不同的nbthread对Router容量的影响非常大，当nbthread=4时，容量达到默认的nbthread=1的2倍。

作者：潘晓华Michael
链接：https://www.jianshu.com/p/add9e0d2ed31