[英]Apache Spark - Unable to understand scala example
我正在嘗試了解此位置上的Scala代碼。 (我來自Java背景)。
我感到在下面的部分完全迷路了
val pairs1 = sc.parallelize(0 until numMappers, numMappers).flatMap { p =>
val ranGen = new Random
var arr1 = new Array[(Int, Array[Byte])](numKVPairs)
for (i <- 0 until numKVPairs) {
val byteArr = new Array[Byte](valSize)
ranGen.nextBytes(byteArr)
arr1(i) = (ranGen.nextInt(Int.MaxValue), byteArr)
}
arr1
}.cache()
我知道並行化和平面映射的作用。 我不知道如何對arr1進行初始化。 是int類型還是其他類型的字節數組? 另外,它在循環邏輯內部做了什么。
var arr1 = new Array[(Int, Array[Byte])](numKVPairs)
只需創建一個大小為numKVPairs
且類型為(Int, Array[Byte])
數組(一對int
和字節數組)
之后, arr1
會填充隨機數據。
var arr1 = new Array[(Int, Array[Byte])](numKVPairs)
創建一個成對的數組類型(Int,Array [Byte])。 那是對的第一個元素是Int類型,第二個元素是Array [Byte]。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.