將文件從FTP復制到HDFS
[英]copy files from FTP to HDFS
問題描述
我需要將文件從我的集群外的FTP服務器復制到Hadoop即HDFS。
提前致謝。
3 個解決方案
解決方案1
4 2014-03-25 15:48:12
你試過這個嗎？ FTP到HDFS ...您可以修改此代碼並將文件的參數更改為FTP a agrs [0]和HDFS Paht更改為args [1]。 而不是像hadoop jar一樣運行它。 希望這會有所幫助......
解決方案2
2 2014-03-25 14:55:17
您是否查看了WebHDFS（ http://hadoop.apache.org/docs/r1.0.4/webhdfs.html ）或HttpFS（ http://hadoop.apache.org/docs/r2.2.0/hadoop-hdfs-httpfs /index.html ）
這些服務需要訪問Hadoop集群，然后您可以將HttpFS端口公開給可以訪問FTP服務器的服務器。
解決方案3
2 2017-09-26 18:55:06
試試這個：
hadoop fs -get ftp：// uid：password @ server_url / file_path temp_file | hadoop fs -moveFromLocal tmp_file hadoop_path / dest_file
hadoop hdfs java-將文件列表從hdfs復制到hdfs的最佳方法是什么
[英]hadoop hdfs java - what is the best way to copy a list of files from hdfs to hdfs
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.