使用Hadoop文本对象toString（）方法

Question

我了解字符串和文本之间的区别。 Hadoop中文本和字符串之间的区别

问题是如果我们说String的最大存储大小为32767字节。

Text t = new Text("Hadoo... 2GB of content");
...
String c = t.toString();

如果“ c”有大小限制，它将如何容纳2GB的数据？

我在这里想念什么？

Answer 1

Java字符串的最大大小不是32k字节。 它是存储Integer.MAX_VALUE字符所需的大​​小，即2 ^ Integer.MAX_VALUE （约20亿），大约4GB（请参阅此帖子 ）。

您提到的帖子是指已弃用的UTF-8类 （而不是Java的String类）的大小限制。

无论如何，如果单个Text实例需要那么多空间，我建议您重新考虑算法。 正如彼得·劳瑞（Peter Lawrey）在上述文章中所说：“我怀疑罗琳（JK Rowling）的所有作品都可以合而为一。”