在Spark中使变量或列名成为对象

Question

在带有scala的Spark中，是否有任何简单的方法可以自动将变量或列从导入的数据转换为对象，因此我们可以在.map（）内部使用column_a.contains("something")本身？

Answer 1

看来您来自R。Spark是面向行而不是面向列的。 例如，如果要进行contains ，则首先要filter行，然后对其apply映射，或者使用一次collect并同时执行这两项操作，但这很难做到。