Apache Spark - 后端服務器

Question

我用PHP開發了一個報表應用程序。 該應用程序使用HTML，CSS，javascript庫，圖表庫（Highcharts）和MySQL來存儲數據。 用戶在前端選擇一些選項並單擊“提交按鈕”。 然后PHP層執行一堆必需的SQL並將json結果發送回繪制圖表和數據表的UI。

現在的要求是，能夠將大數據解決方案Apache Spark插入現有應用程序。 我已經研究了過去兩周，如果我可以使用REST API或某種Spark SQL驅動程序插入PHP應用程序來連接到Spark SQL服務器並執行我現在擁有的同一組SQL， Spark SQL。 我還沒有找到解決方案。 我現在開始研究基於Java的技術，比如Spring，其他如Angularjs，Nodejs等其他MVC框架，從頭開始重寫項目。 我不是Java開發的忠實粉絲，因為我不是一個核心開發人員。（我構建了一些方便的工具來完成工作）。

我確實讀過這個 - https://cwiki.apache.org/confluence/display/Hive/HiveClient#HiveClient-PHP ，但看起來像是一個獨立的火花安裝。 在我的情況下，我正在處理一個龐大的集群。

我非常感謝這里的任何方向。

Answer 1

是的，可以通過在spark應用程序中使用hive上下文和spark sql thrift服務器來完成。

你可以運行你的火花應用程序並進行所有處理。 處理后如果使用數據框，則必須將其注冊為臨時表。

現在，您可以從spark應用程序啟動thrift服務器。

啟動thrift服務器后，您可以查詢臨時表，並使用PHP中正確的jdbc divers獲取結果和見解。

有關詳細信息，請參閱以下鏈接https://medium.com/@anicolaspp/apache-spark-as-a-distributed-sql-engine-4373e254e0f9#.ekc3cs28u

Answer 2

這可能不是你想要的。 但是如果你考慮使用Scala來構建它。 這是一種可能的解決方案。

• 擁有使用Spark獨立或連接到群集的Web服務器。
• 使用spark-highcharts使用highcharts繪制Spark DataFrame
• 編寫一些從Web接受某個選項的代碼，並讓它在后端Web服務器中執行。

Answer 3

您是否正在使用任何特定群集，例如cloudera或hortonworks？

對於Cloudera，您應該使用Impala和相應的JDBC驅動程序。 在HDP中，您應該使用Spark Thrift Server以及相應的JDBC驅動程序。