如何将 HashMap 放入广播变量？

Question

我正在尝试将HashMap放入BroadCast变量中，但低于错误

The method broadcast(T, ClassTag<T>) in the type SparkContext is not applicable for the arguments (Map<String,String>, ClassTag<HashMap>)

在下面的代码片段上

Broadcast<HashMap<String, String>> br = ss.sparkContext().broadcast(mp, classTag(HashMap.class));

完整代码

        private static <T> ClassTag<T> classTag(Class<T> clazz) {
                return scala.reflect.ClassManifestFactory.fromClass(clazz);
    }

        Dataset<Row> schema = ss.read().format("csv").option("delimeter", ",").option("header", "true")
                .option("quote", "").load("D:\\Data\\schema.csv");
        
        Map<String, String> mp = new HashMap<String, String>();
        
        schema.foreach((ForeachFunction<Row>) row -> {
            String[] names = row.schema().fieldNames();
            
            for (int i = 0; i< names.length; i++) {
                mp.put(names[i], row.getAs(names[i]));
            }
                
        });
        
        Broadcast<HashMap<String, String>> br = ss.sparkContext().broadcast(mp, classTag(HashMap.class));

我真的坚持这一点。 谁能建议做错了什么？

Answer 1

您正在使用 SparkContext 的 Scala 版本，您可以获得 Java 版本，如下所示：

JavaSparkContext.fromSparkContext(sc).broadcast(new HashMap<String, String>());

无需 class 标签！