如何使用 azure 数据砖笔记本调用 Scala 中其他类/对象的方法

Question

我在本地 Scala IDE 中有以下类似场景。我试图在 Azure Databricks Notebook 中复制相同的场景。 我做不到。

场景解释：我有一个主 class。我正在调用其他 object 中的方法到主 class，使用线程并行执行。

我尝试将每个 object 放在不同的笔记本中并尝试使用数据块。 却能做到。

主 Class

object cli_main {
    
   def main(args: Array[String]): Unit = {
    
    var ModuleOneStart = "Y"
    var ModuleTwoStart = "Y"
    
    var ResultOne="0"
    var ResultTwo="0"
    
    var a=100
    var b=200
        
    val ThreadOne = new Thread {
        override def run(): Unit = {
            ResultOne = cli_cpm.cpm_process(a, b)
          }
        }
    val ThreadTwo = new Thread {
         override def run(): Unit = {
             ResultTwo = cli_res.res_process(a, b)
            }
        }
                
    if (ModuleOneStart == "Y") { 
          ThreadOne.start()
        }
    if (ModuleTwoStart == "Y") {
            ThreadTwo.start()
        }
    
    }
    
}

方法一

object cli_cpm extends Thread {
    def cpm_process(a: Int, b: Int): String = {
    
    val mul=a*b
    
    if(mul>100){
    "1"  //return
    }
    "0"//return
    }
}

方法二

object cli_res extends Thread {
    def res_process(a: Int, b: Int): String = {
    
    val sum=a+b
    
    if(sum>10){
    "1"  //return
    }
    "0"//return
    }
}

我知道%run和dbutils.notebook.run用于调用笔记本。

在 Azure Databricks 中实现上述场景的任何不同方式。

Answer 1

您可以使用两种方式将一个笔记本运行到另一个笔记本：

1. ％跑步

%run notebook1.ipynb

2. Databricks 实用程序 ( dbutils )

dbutils.notebook.run()

除了这两个选项，您还可以使用标准的 Scala 和 Python 构造同时运行多个笔记本，例如线程（Scala、Python）和 Futures（Scala、Python）。

关注databricks 官方文档