繁体 English 中英

由于评估是懒惰的，如何登录Spark Java API？

[英]How to log in Spark Java API as evaluation is Lazy?

原文 2016-05-09 04:36:25 8 1 java/ logging/ apache-spark

由于Spark中的评估很懒，因此跟踪执行语句时间的日志可能会出错。 例如：如果用户在读取文本文件之前和读取文件之后（在sc.textFile（）之前和之后）捕获了开始时间，则将导致错误信息，因为将完成日志记录，但尚未读取文件懒惰的评价。 有什么解决办法，例如惰性日志记录？

您必须在RDD上调用spark操作才能触发有效的计算。 诸如地图，过滤器，文件读取等转换操作不会触发火花操作。 为了测量从开始到结束的两次记录之间的有效时间，请在rdd上执行spark操作（也许您希望将其缓存以备将来使用，然后调用rdd.cache() ）

[英]Lazy log message evaluation in java

[英]Java Stream API lazy evaluation internals

[英]How does Lazy Evaluation and Eager Evaluation work in Java 8

[英]Will Java 8 have lazy evaluation?

[英]Java 8 - Lazy Evaluation?

[英]Java lazy evaluation semantics

[英]Lazy evaluation for logging in Java 8

[英]How to log a lazy evaluated dataframe in Apache Spark?

[英]Advantage of lazy evaluation of streams in java

[英]java ternary operator and lazy evaluation

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 java中的延迟日志消息评估 Java Stream API 惰性求值内部懒惰评估和急切评估在Java 8中如何工作 Java 8会有懒惰的评估吗？ Java 8 - 懒惰评估？ Java懒惰评估语义懒惰评估登录 Java 8 如何在 Apache Spark 中记录延迟评估的数据帧？ Java中流的延迟评估的优势 java三元运算符和惰性求值

相关标签