使用Hadoop文本對象toString（）方法

Question

我了解字符串和文本之間的區別。 Hadoop中文本和字符串之間的區別

問題是如果我們說String的最大存儲大小為32767字節。

Text t = new Text("Hadoo... 2GB of content");
...
String c = t.toString();

如果“ c”有大小限制，它將如何容納2GB的數據？

我在這里想念什么？

Answer 1

Java字符串的最大大小不是32k字節。 它是存儲Integer.MAX_VALUE字符所需的大​​小，即2 ^ Integer.MAX_VALUE （約20億），大約4GB（請參閱此帖子 ）。

您提到的帖子是指已棄用的UTF-8類 （而不是Java的String類）的大小限制。

無論如何，如果單個Text實例需要那么多空間，我建議您重新考慮算法。 正如彼得·勞瑞（Peter Lawrey）在上述文章中所說：“我懷疑羅琳（JK Rowling）的所有作品都可以合而為一。”