發送到多個 Kafka 主題時出現 Logstash 管道問題

Question

我正在使用 Logstash 從 SQL 服務器數據庫中提取更改數據並將其發送到不同的 Kafka 主題。 一些 Logstash 配置文件發送到Ticket主題，其他的發送到可用性主題如果我使用管道僅運行發送到 Ticket 主題的配置，它工作正常。 如果我在管道中自行運行可用性主題的配置，他們可以發送數據。

但是，當我包含要一起發送到兩個主題的配置時，我得到了錯誤。 請參閱日志中的摘錄。 這次可用性主題失敗，其他時候票證主題失敗。

[2021-03-22T07:30:00,172][WARN ][org.apache.kafka.clients.NetworkClient][AvaililityDOWN] [Producer clientId=Avail_down1] Error while fetching metadata with correlation id 467 : {dcsvisionavailability=TOPIC_AUTHORIZATION_FAILED}
[2021-03-22T07:30:00,172][ERROR][org.apache.kafka.clients.Metadata][AvaililityDOWN] [Producer clientId=Avail_down1] Topic authorization failed for topics [dcsvisionavailability]
[2021-03-22T07:30:00,203][INFO ][logstash.inputs.jdbc     ][Ticket1][a296a0df2f603fe98d8c108e860be4d7a17f840f9215bb90c5254647bb9c37cd] (0.004255s) SELECT sys.fn_cdc_map_lsn_to_time(__$start_lsn) transaction_date, abs(convert(bigint, __$seqval)) seqval, * FROM cdc.dbo_TICKET_CT where ( __$operation = 2 or __$operation = 4) and modified_date > '2021-03-22T07:27:00.169' order by modified_date ASC
[2021-03-22T07:30:00,203][INFO ][logstash.inputs.jdbc     ][AvailabilityMAXUP][7805e7bd44f20b373e99845b687dc15d7c2a3de084fb4424dd492be93b39b64a] (0.004711s) With Logstash as(
SELECT sys.fn_cdc_map_lsn_to_time(__$start_lsn) transaction_date, abs(convert(bigint, __$seqval)) seqval, *
FROM cdc.dbo_A_TERM_MAX_UPTIME_DAY_CT
)
select * from Logstash
where ( __$operation = 2 or __$operation = 4 or __$operation = 1 ) and TMZONE = 'Etc/UTC' and transaction_date > '2021-03-22T07:15:00.157' order by seqval ASC
[2021-03-22T07:30:00,281][WARN ][org.apache.kafka.clients.NetworkClient][AvailabilityMAXUP] [Producer clientId=Avail_MaxUp1] Error while fetching metadata with correlation id 633 : {dcsvisionavailability=TOPIC_AUTHORIZATION_FAILED}
[2021-03-22T07:30:00,281][ERROR][org.apache.kafka.clients.Metadata][AvailabilityMAXUP] [Producer clientId=Avail_MaxUp1] Topic authorization failed for topics [dcsvisionavailability]
[2021-03-22T07:30:00,297][WARN ][org.apache.kafka.clients.NetworkClient][AvaililityDOWN] [Producer clientId=Avail_down1] Error while fetching metadata with correlation id 468 : {dcsvisionavailability=TOPIC_AUTHORIZATION_FAILED}
[2021-03-22T07:30:00,297][ERROR][org.apache.kafka.clients.Metadata][AvaililityDOWN] [Producer clientId=Avail_down1] Topic authorization failed for topics [dcsvisionavailability]
[2021-03-22T07:30:00,406][WARN ][org.apache.kafka.clients.NetworkClient][AvailabilityMAXUP] [Producer clientId=Avail_MaxUp1] Error while fetching metadata with correlation id 634 : {dcsvisionavailability=TOPIC_AUTHORIZATION_FAILED}
[2021-03-22T07:30:00,406][ERROR][org.apache.kafka.clients.Metadata][AvailabilityMAXUP] [Producer clientId=Avail_MaxUp1] Topic authorization failed for topics [dcsvisionavailability]
[2021-03-22T07:30:00,406][WARN ][logstash.outputs.kafka   ][AvailabilityMAXUP][3685b3e90091e526485060db8df552a756f11f0f7fd344a5051e08b484a8ff8a] producer send failed, dropping record {:exception=>Java::OrgApacheKafkaCommonErrors::TopicAuthorizationException, :message=>"Not authorized to access topics: [dcsvisionavailability]", :record_value=>"<A_TERM_MAX_UPTIME_DAY>\

這是可用性配置的 output 部分

output {
    kafka {
      bootstrap_servers =>  "namespaceurl.windows.net:9093"
      topic_id => "dcsvisionavailability"
      security_protocol => "SASL_SSL"
      sasl_mechanism => "PLAIN"
      jaas_path => "C:\Logstash\keys\kafka_sasl_jaasAVAILABILITY.java"
      client_id => "Avail_MaxUp1"
      codec  => line {
      format => "<A_TERM_MAX_UPTIME_DAY>
    <stuff deleted>"
      }
}

}

pipeline.yml 文件中有這個

## Ticket Topic
- pipeline.id: Ticket1
  path.config: "TicketCT2KafkaEH8.conf"
  queue.type: persisted
  
- pipeline.id: PublicComments1
  path.config: "Public_DiaryCT2KafkaEH1.conf"
  queue.type: persisted

##  - Availability topic 
- pipeline.id: AvailabilityDOWN
  path.config: "Availability_Down_TimeCT2KafkaEH3.conf"
  queue.type: persisted
  
- pipeline.id: AvailabilityMAXUP
  path.config: "Availability_Max_UptimeCT2KafkaEH2.conf"
  queue.type: persisted   

我嘗試在不同的實例中運行，是的，在我運行管道並打開另一個命令 window 並運行另一個配置發送到不同的主題（為此我指定不同的 --path.data ）

但是，由於 40 個配置涉及 4 個不同的主題，我真的不想並行運行這么多實例。 歡迎任何建議

Answer 1

我已經能夠解決這個問題。 這與 jaas_path 文件有關。

對於每個主題，我有一個不同的 jaas_path 文件，該文件在 EntityPath 中指定字符串中的主題，如下所示。

KafkaClient {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="$ConnectionString"
password="Endpoint=sb://<stuff redacted>.windows.net/;SharedAccessKeyName=keyname;SharedAccessKey=<key redacted>;EntityPath=dcsvisionavailability";
};

當我從事件中心提供公用密鑰以用於所有最后沒有;EntityPath=topicname 的主題時，它就起作用了。

這是有道理的，因為我已經在 logstash conf 文件的 topic_id => "dcsvisionavailability" 行中指定了主題。

Answer 2

我很高興它起作用了沃爾特。

對於可能在此問題上尋求解決方案的其他人，這里的問題是相同的 shareAccessKeyName 與不同的令牌一起用於不同的 Kafka 主題，以便在 EventHub 進行授權。

這就是為什么當僅針對一個主題的請求進入授權時，一切正常。

當不同主題的請求同時以相同的shareAccessKeyName但使用不同的令牌到達EventHub時，只有一個會go通過，而另一個會由於令牌沖突而異常。

解決這個問題的不同選擇是

1. 對所有請求使用相同的令牌（對於所有主題）
2. 為每個主題使用不同的 shareAccessKeyName 和不同的令牌。

Walter 選擇了#1 並且需要在密碼中刪除主題名稱（因為 EventHub 可能具有主題授權）。

對於主題授權，解決方案 #2 會更好。