cost 98 ms
通过KryoSerializer和JavaSerializer在APACHE SPARK中使用Scala酸洗序列化 - Using Scala Pickling serialization In APACHE SPARK over KryoSerializer and JavaSerializer

在搜索用于apache-spark最佳Serialization技术时,我在下面的链接https://github.com/scala/pickling#scalapickling中找到了该链接,其中指出使用此框架, scala Serialization将更快,更自动化。 并且作为Sca ...

为什么我不能腌制我的案例类? 下次我该怎么手动解决这个问题? - Why can I not pickle my case classes? What should I do to solve this manually next time?

编辑 2:观察和问题 我很确定与 Justin 下面的评论者一起,问题是由于错误的build.sbt配置。 然而,这是我第一次看到错误的build.sbt配置,它实际上适用于除选择器之外的所有其他内容。 也许那是因为他们使用宏,而我通常会避免使用它们。 为什么它会也罢, Flow.merge ...

在scala 2.11中的POJO中进行scala腌制-这真的很简单吗? - scala-pickling in POJO in scala 2.11 - Is it really simple?

我正在尝试使用scala-pickling,因为在github站点上它看起来是如此简单和干净。 但是,我无法在这个简单的REPL中使用它: 怎么了? 我确实使用相同类型的问题访问了StackOverflow上的其他问题,例如: Scala酸洗:我班上简单的自定义酸洗机? ...

通过scala-pickling序列化后从json中删除tpe - remove tpe from json after serialization via scala-pickling

有没有一种简单的方法可以序列化为json,而对象内部没有“ tpe”字段? 我需要将案例类序列化为json结构,然后通过电线发送它们(以后将不会反序列化它们)。 我有一个特定的api,所以..我不需要其他字段。 对于下图所示的Person : 我想看看以下内容: ...

Scala酸洗案例类版本控制 - Scala pickling case class versioning

我希望能够使用scala pickling来存储案例类的二进制表示。 我想知道是否有办法管理案例类的版本控制(协议缓冲区允许的方式) 这是我的例子 我在某个日期创建一个程序,具有以下案例类 然后我序列化了这个类的一个实例 然后我将结果存储到一个文件中 ...

自定义拆箱程序失败,并显示“ NoSuchElementException ::找不到键:值” - Custom unpickler fails with “NoSuchElementException: : key not found: value”

我正在尝试使用腌制将joda DateTime实例从json腌制/解腌。 使用酸洗0.8.0,如果我不提供定制的酸洗器,我得到 当我做: 我懂了 并且无法进行剔除,并显示NoSuchElementException::找不到键:值。 使用0.9.0-SNAPSHOT酸 ...

冲突的交叉版本后缀:org.scalamacros:quasiquotes - Conflicting cross-version suffixes in: org.scalamacros:quasiquotes

我正试图在我的一个项目中使用scala-pickling 。 我试图模仿 macroid的构建文件,它似乎也使用酸洗但我在sbt test不断收到此错误: 完整的构建日志在这里 。 我究竟做错了什么? 我应该在build.sbt中更改什么来解决这个问题? 我也应该能够针对2.10 ...

斯卡拉酸洗:怎么样? - Scala pickling: how?

我正在尝试使用“pickling”序列化是Scala,我看到同样的例子演示它: Unpickling就像酸洗一样简单: 这个例子提出了一些问题。 首先,它跳过将对象转换为字符串。 显然你需要调用pckl.value来获取json字符串表示。 Unpickling更令人困 ...

当类型未知时取消 - Unpickling when type is unknown

我正在尝试使用Scala Pickling编写一些通用的unpickling逻辑。 假设您有两种类型,A和B,并将它们腌制成字节数组。 您获取此字节数组并将其发送到另一台计算机,并将其作为字节数组接收。 现在你需要取消它,但你不知道字节数组是用于类型A还是类型B. 你会如 ...

无法为具有不变的HashMap的案例类生成unpickler - Cannot Generate unpickler for case class with immutable HashMaps

最近,我遇到了scala-picking问题,试图在项目中使用它,因此,我一直在研究一个带有不可变哈希图的case类的简单示例。 在此示例中,scala-pickling不会生成unpickler,我也不知道为什么。 以下是REPL会议以演示该问题: 有人可以指出我在做什么错吗? ...

将类移动到另一个包后获取MissingRequirementError - Getting MissingRequirementError after moving classes to another package

所以我试图更好地组织我的包,并在将一些类移动到另一个包后,我的代码现在给了我这个例外: 如果我将所有内容保留在同一个包中或在同一个文件中声明这些类,它可以正常工作。 有人可以告诉我如何解决这个问题吗? 已解决:如遇此问题,问题在于Pickling如何序列化。 在json中, ...

Scala编译期间出现内存不足错误 - Out of memory error during Scala compilation

我正在使用大量的scala-pickling和shapeless ,并且我一直使Scala 2.10.3编译器崩溃,并出现明显的内存不足错误。 错误消息的结尾看起来像这样: 我正在监视我的系统内存,并且有很多内存,因此,如果这确实是内存分配问题,我猜我可以在某个地方设置一些JVM标志以 ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM