即使以管理員身份運行，在 Windows 錯誤 5（訪問被拒絕）上運行 Spark

Question

我從 Spark 開始，所以不太確定我的問題出在哪里，並在這里尋找有用的提示。 我正在嘗試以管理員身份在 Windows 7 機器上運行 Spark (pyspark)，但它似乎不起作用（我仍然收到 WindowsError 5）。 見下圖：

我已經下載了文件（版本 1.2.0，為 Hadoop 2.4 或更高版本預先構建），通過命令行使用 tar 解壓縮它並在調用 bin\\pyspark 之前設置 IPYTHON=1。 當我調用它時，pyspark 運行，但根據圖像出現以下錯誤。

當我嘗試調用某些 SparkContext 對象時，我得到名稱“sc”未定義。

我已經安裝了 python 2.7.8、Spyder IDE 並且在公司網絡環境中。

有沒有人知道這里會發生什么？ 我查了一些問題，例如為什么我收到 WindowsError: [Error 5] Access is denied？ 但找不到線索。

Answer 1

簡而言之：

我有什么應該是同樣的問題。 對我來說，是$spark/bin目錄中的*.cmd文件沒有被標記為可執行文件； 請嘗試通過以下方式確認：

• 右鍵單擊pyspark2.cmd並：
• 屬性/安全選項卡然后檢查“讀取和執行”

我在另一個網站上找到了解決方法，建議下載hadoop-winutils-2.6.0.zip （抱歉沒有鏈接）。 這是要使用的 cmd 示例（移動到正確的目錄后）：

t:\hadoop-winutils-2.6.0\bin\winutils.exe chmod 777 *

我確實需要運行chmod 777 cmd 以使/tmp/hive可寫。 祝你好運！

（......這里是新的 - 抱歉格式不佳）
（更新：馬特感謝修復格式問題！）

根本原因：我通過tar -zxf <file.tgz>在 Windows 上使用的 tar 程序沒有將正確的屬性應用於提取的文件。 在這種情況下，“可執行文件”沒有正確設置。 是的，也許我應該更新我的 cygwin 版本。