Logstash JDBC Input插件：批量迁移来自mysql的数据

Question

我有一个20GB数据表，其中有5000万行。 需要使用logstash jdbc输入插件迁移到ElasticSearch。 我已经尝试了所有基本实现，但是在批量迁移数据（即一次仅迁移10,000行）方面需要帮助。 我不确定如何以及在何处指定此计数，以及下次我运行logstash时如何进行更新。 请帮我解决这个问题

这就是我所拥有的：

input {
    jdbc {
        jdbc_driver_library => "mysql-connector-java-5.1.12-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://localhost/db"
        jdbc_validate_connection => true
        jdbc_user => "root"
        jdbc_password => "root"
        clean_run => true
        record_last_run => true
        use_column_value => true
        jdbc_paging_enabled => true
        jdbc_page_size => 5
        tracking_column => id
        statement => "select * from employee"
    }
}

提前致谢。

Answer 1

您需要将jdbc_paging_enabled设置为true才能使分页生效。

但是，您还需要确保将clean_run设置为false，否则分页将不起作用。