logstash jdbc elasticsearch导入数据 效率不高 、启动时间过长

Question

如图所示logstash conf文件es部署在一台机器上 内存8gelasticsearch.yml 配置    bootstrap.memory_lock: truejvm.options   -Xms7g   -Xmx7g logstash部署在另一台机器上内存10g    logstash.yml       pipeline.workers: 32       pipeline.batch.size: 2000  jvm.options        -Xms9g        -Xmx9g         实现思路：   每次读取10万条数据，分页数据5万条，每3分钟启动一个logstash，解决jdbc嵌套子查询效率低下问题 结果：    1 读取10万数据，需要3分钟，500万条数据读取需要花费2个多小时，效率低下 想解决的问题    1 读取10万条数需要3分钟，缩短时间    2  每次启动logstash实例需要耗时1分钟，缩短时间

Answer 1

收集数据的工具，可以用filebeat来采集，这样能减少logstash的压力，logstash做的工作只需要正则匹配，处理数据，然后发到es上即可，可以做个测试，看看这样是否有所提升。