Apache Flink 將其結果下沉到 OpenSearch

[英]Apache Flink sinking its results into OpenSearch

我在服務器上運行 Apache Flink v1.14，它對從 Kafka 讀取的數據進行一些預處理。 我需要它將結果寫入 OpenSearch，然后我可以從 OpenSearch 獲取結果。 但是，在查看 flink v1.14 連接器列表時，我沒有看到 OpenSearch。 還有其他方法可以 ...

無論如何檢查當前批量隊列大小 Opensearch？

[英]Is there anyway to check current bulk queue size Opensearch?

我的 Opensearch 在寫入數據時有時會出現“429 Too Many Requests”錯誤。 我知道有一個隊列，當隊列已滿時它會顯示該錯誤。 那么有沒有 Api 來檢查批量隊列狀態，當前大小......？ 示例：隊列 150/200（快滿） ...

我們可以使用 filebeat 將數據發送到 wazuh-indexer 而無需在 Wazuh 中使用代理嗎？

[英]Can we send data to wazuh-indexer using filebeat and without agent in Wazuh?

我正在嘗試將數據從 filebeat 直接發送到 wazuh-indexer，但我在 filebeat 和 elasticsearch 之間收到連接錯誤。以下是我的 filebeat 配置： 以下是錯誤： 誰能告訴我我在做什么錯誤？ ...

ElasticDump 轉換

[英]ElasticDump transform

我是彈性搜索的新手。 我必須將索引從一個 ElasticSearch 服務器復制到另一個 ES 服務器，並且我必須在將它們插入目標服務器之前更新一些字段值。 我發現我們可以使用 elasticdump npm package 但是沒有找到如何使用 elasticdump package 提供的轉換選 ...

OpenSearch 查詢間歇性緩慢響應

[英]OpenSearch Query Intermittent slow response

版本（相關 - OpenSearch/Dashboard/Server OS/Browser）： 開放搜索 1.1 描述問題： 查詢響應間歇性緩慢。 配置： 集群：數據節點實例類型 c5.large.search (3) 專用主節點：r4.large.search (3) 存儲類型：EBS EBS ...

AWS SAM Lambda OpenSearch 策略

[英]AWS SAM Lambda policy for OpenSearch

我無法獲得適用於 Lambda function 到 OpenSearch 的有效 IAM 策略。 運行sam validate ，我得到： “策略”屬性中索引 0 處的策略無效 ...

Elasticsearch：檢索“獲取最新”折疊/inner_hits 查詢中的項目總數

[英]Elasticsearch: Retrieving total number of items in a "get most recent" collapse/inner_hits query

我有一組帶有數字（字符串）和時間戳（日期）字段的文檔。 我構建了一個查詢，以按數值返回最近文檔的列表，以及每個數字的計數。 例如，對於像這樣的數據集數字時間戳測試編號 1 2023-01-01T00:00:00.000Z 測試編號 1 2023-01-02T00:00:00.000Z 測試編號 ...

在 OpenSearch 更新操作中需要外部版本支持

[英]Need external version support in OpenSearch Update operation

我正在使用 OpenSearch 為 JSON 個文檔編制索引並使它們可搜索。 所有文檔都有 EPOCH 格式的更新時間戳字段。 問題是我可以獲得更新請求，其中文檔正文包含較舊的更新時間。 如果當前文檔更新時間早於存儲在 OpenSearch 中的現有文檔中的更新時間字段，我的應用程序應跳過更新為了 ...

Opensearch 按查詢更新

[英]Opensearch update by query

我是 Elasticsearch 的新手。我有一個包含大約 50k 文檔的巨大索引。 我必須更新所有文檔，當我運行 update_by_query function 時它拋出錯誤文件“E:\ApplicationsRunning\Lib\site-packages\opensearchpy\conn ...

Elasticsearch 執行過濾的語法，然后聚合，然后對聚合結果進行過濾，然后排序

[英]Elasticsearch syntax that performs filter, then aggregations, then filter on the aggregation results, then sort

想象一下擁有一群團隊成員的團隊的數據，其中成員和團隊都有關聯數據。 有沒有一種搜索語法可以讓我根據用戶標准（例如，多年的經驗）過濾成員然后將一些成員屬性聚合到團隊級別（例如，過濾成員的平均進球數） 然后對聚合進行過濾（例如，僅過濾成員的平均進球數 >= 17 的團隊） 然后按球隊的任何屬性排序 ...

使用術語過濾多個值時未獲得 output

[英]Not getting output when using terms to filter on multiple values

我在 opensearch 中有一個表，其中每個字段的格式都是“文本”。 這就是我的桌子的樣子 現在我在 opensearch 中運行的查詢（q1）看起來像這樣。 我沒有得到任何 output。但是當我運行查詢 q2時，我得到了 output。 現在我想對 prov_type 應用多重過濾。 我嘗 ...

如何按數字查詢並忽略特殊字符

[英]How to query by number and desconsider special characters

目前我的 opensearch 數據庫中有一個文檔，其值為1301-003.023 。 如果我運行以下查詢，將返回文檔：GET test/example { "query": { "match": { "my_number": "1301-003.023" } } ...

有效匹配查詢文本中包含的文本

[英]Efficiently match texts contained in a query text

我在索引中有一組文檔 S，其中每個文檔 D 都有一個文本字段 D.text。 我想使用文本查詢 Q 來查找查詢 Q 中包含/匹配文本的文檔。 一個例子： 包含文檔 D1、D2 和 D3 的集合 S 分別有文本“Stranger Things”、“特效是一流的”、“有趣的，總是讓我處於邊緣”。 文本查 ...

攝取管道不保留日期類型字段

[英]ingest pipeline not preserving the date type field

這是我的 JSON 數據，我試圖從 filebeat 發送到 opensearch 中的攝取管道“logpipeline.json”。 json 數據 Filebeat 到 Opensearch 日志傳送 我正在通過進行完美運行的類型轉換，在攝取管道中對某些字段執行“數據”字段轉換。 但我面臨的 ...

刪除索引后Opensearch集群無法分配

[英]Opensearch cluster can't allocate after deleting index

問題： 刪除索引后，所有索引都為紅色 state 並且集群分配卡在兩個狀態之間跳躍。 預賽： 從索引 x（280gb 1000 萬文檔 1shard）到索引 y 的拆分操作預計有 8 個分片。 在執行拆分無法執行按查詢刪除並且索引從 700gb 跳到 1.3tb 一天后，我決定刪除該索引，之后所有索 ...

以毫秒為單位的 OpenSearch 設置值

[英]OpenSearch settings value in milliseconds

我正在嘗試用毫秒值更新 OpenSearch 的索引設置字段。 我找到的例子是幾秒鍾。 有人可以幫助我如何設置以毫秒為單位的值嗎？ ...

無論如何要為新索引自動設置 refresh_interval？

[英]Anyway to auto set refresh_interval for new index?

我知道我們可以為舊索引設置 refresh_interval。 但是有沒有辦法設置一個新的索引呢？ 我的索引每天都在變化，例如：my-index-01.16.2023，my-index-01.17.2023 ...所以我不能每天都手動設置它。 任何提示或解決方案家伙？ ...

在 ElasticSearch 中更改別名返回 200 並確認但不更改別名

[英]Changing alias in ElasticSearch returns 200 and acknowledged but does not change alias

這個賞金已經結束了。 此問題的答案有資格獲得+100聲望賞金。 賞金寬限期在19 小時后結束。 Loc Ann正在尋找可靠來源的答案。 使用 elasticsearch 8.4.3 和 Java 17 和一個由 3 個節點組成的集群，其中 3 個節點符合主節點條件，我們從以下情況開始： ind ...

將第一條日志推送到 Opensearch 后不久，Filebeat 突然超時

[英]Filebeat suddenly timing out shortly after pushing first logs to Opensearch

我在 linux 盒子上運行 filebeat 7.10.2，並通過 systemctl 服務將日志推送到 AWS Opensearch。 最近該服務開始失敗並出現以下錯誤： '無法發布事件：....net/http：請求已取消（等待標頭時超出 Client.Timeout）' 當我重新啟動 fi ...

CDK - 如何在用戶數據中使用 Opensearch Domain MasterUserPassword

[英]CDK - How to use Opensearch Domain MasterUserPassword within userdata

在Opensearch L2 構造中，如果您添加細粒度的訪問控制，Secrets Manager 中將為您創建一個 Secret（可通過masterUserPassword訪問）。 我想稍后在CloudformationInit中使用這個生成的密碼，但不確定如何使用。from aws_cdk im ...