[英]How to generate large no of records in spark
如何在Spark中生成具有多个字段的大量记录(无记录)。我不从文件读取数据,但数据将是随机生成的数据。根据该数据,我想创建RDD 。
RandomRDDs
提供了工厂方法来生成随机双RDD或矢量RDD。
import org.apache.spark.SparkContext
import org.apache.spark.mllib.random.RandomRDDs._
val sc: SparkContext = ...
// Generate a random double RDD that contains 1 million i.i.d. values drawn from the
// standard normal distribution `N(0, 1)`, evenly distributed in 10 partitions.
val u = normalRDD(sc, 1000000L, 10)
// Apply a transform to get a random double RDD following `N(1, 4)`.
val v = u.map(x => 1.0 + 2.0 * x)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.