Hadoop集群中的tasktracker上的UnknownHostException

Question

我根據教程說明設置了一個偽分布式Hadoop集群（在同一個盒子上有jobtracker，一個tasktracker和namenode），它工作正常。 我現在正嘗試將另一個節點添加到此群集作為另一個任務跟蹤器。

當我檢查節點2上的日志時，除了tasktracker之外，所有日志都很好。 我正在獲得下面列出的錯誤消息的無限循環。 似乎Task Tracker正在嘗試使用主機名SSP-SANDBOX-1.mysite.com而不是ip地址。 這個主機名不在/ etc / hosts中，所以我猜這是問題所在。 我沒有root訪問權限，以便將其添加到/ etc / hosts。

是否有任何屬性或配置我可以更改，以便它將停止嘗試使用主機名連接？

非常感謝，

2011-01-18 17:43:22,896 ERROR org.apache.hadoop.mapred.TaskTracker: 
Caught exception: java.net.UnknownHostException: unknown host: SSP-SANDBOX-1.mysite.com
        at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)
        at org.apache.hadoop.ipc.Client.call(Client.java:720)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
        at $Proxy5.getProtocolVersion(Unknown Source)
        at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
        at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170)
        at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
        at org.apache.hadoop.mapred.TaskTracker.offerService(TaskTracker.java:1033)
        at org.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:1720)
        at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2833)

Answer 1

此博客文章可能會有所幫助：

http://western-skies.blogspot.com/2010/11/fix-for-exceeded-maxfaileduniquefetches.html

簡而言之，即使您在配置文件中指定IP地址，Hadoop也會執行反向主機名查找。 在您的環境中，為了使Hadoop正常工作，SSP-SANDBOX-1.mysite.com必須解析為該機器的IP地址，並且該IP地址的反向查找必須解析為SSP-SANDBOX-1.mysite .COM。

因此，您需要與管理這些計算機的任何人交談，以便捏造主機文件或提供能夠做正確事情的DNS服務器。