logstash不會將舊日志導入ES

Question

當我啟動logstash時，舊日志不會導入ES。
只有新的請求日志記錄在ES中。
現在我在文檔中看到了這一點。

即使我設置start_position=>"beginning" ，也不會插入舊日志。
這只發生在我在linux上運行logstash時。

如果我使用相同的配置運行它，則會導入舊日志。
我甚至不需要在windows上設置start_position=>"beginning" 。

對此有何想法？

Answer 1

當您將輸入日志讀取到Logstash時，Logstash將記錄它在此文件上讀取的位置，即調用sincedb 。

Where to write the sincedb database (keeps track of the current position of monitored log files). 
The default will write sincedb files to some path matching "$HOME/.sincedb*"

因此，如果要導入舊日志文件，則必須刪除$ HOME處的所有.sincedb *。 然后，你需要設置

START_POSITION => “開頭”

在您的配置文件中。

希望這可以幫到你。

Answer 2

請看這一行。

此選項僅修改文件是新的且之前未見過的“第一次聯系”情況。 如果之前已經看過某個文件，則此選項無效。