[英]What is the most efficient solution for hundreds download requests in minute for HDFS folder
在我的公司，我們有一個不斷學習的過程。 每 5-10 分鍾我們在 HDFS 中創建一個新模型。 模型是幾個文件的文件夾：
另一方面，我們有數百個模型服務實例，需要每 5-10 分鍾將模型下載到本地文件系統並從中提供服務。 目前，我們正在使用來自我們的服務（java FileSystem 客戶端）的 WebFS，但它可能會為我們的 Hadoop 集群創建負載，因為它將請求重定向到具體的數據節點。
我們考慮使用 HTTPFs 服務。 它有緩存功能嗎？ 那么第一個請求會得到一個文件夾來服務內存，接下來的請求會使用已經下載的結果？
哪些其他技術/解決方案可用於此類用例？
我們找到了一個很好的解決方案。
它可用於 Hadoop 以減少讀取負載或用於 Google/S3 存儲桶以降低成本。
我們簡單地設置了幾個 Ngnix 服務器，並將它們配置為具有文件緩存 2 分鍾的代理。
這樣，只有 Ngnix 機器才會從 Hadoop 集群下載數據。
並且所有服務機器（可能有數百台）將從 Nginx 服務器中提取數據，這些數據已經緩存在那里
使用分區為日期的文件從kafka寫入hdfs的最有效方法是什么
[英]What is most efficient way to write from kafka to hdfs with files partitioning into dates
hdfs 在文件或文件夾的權限列表之后的加號 (+) 是什么？
[英]what is the plus (+) in hdfs after the list of rights on a file or folder?
Hive QL過濾時最有效的決定是什么-使用In（''）或Not In（''）？
[英]Hive QL what is the most efficient decision when filtering - using In ('') or Not In('')?
將數據從Hive遷移到MongoDB的最有效方法是什么？
[英]What is the most efficient way of moving data out of Hive and into MongoDB?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
