Java分布式计算平台

Question

我被要求建立一个平台，以从Twitter流API下载推文。 基本思想是让控制器生成任务，其中包含有关下载内容（关键字）以及如何序列化数据的信息。 该任务被发送到远程服务器（与其他网络相同）以执行任务并定期将推文保存在数据库中。 我需要的是：

• 控制器：必须与Fetcher建立连接才能向其发送任务。 必须验证所有提取程序连接。
• 提取程序：应基于任务关键字从Twitter流API检索推文。 每个提取程序仅执行一项任务。 无需手动注册。 只需执行它并运行收到的任务即可。
• DB：必须定期存储tweets的JSON。 由于会有很多提取程序，因此我需要一些避免瓶颈的方法。

说了这么多，我要找的是关于如何实现这一点的好主意。 目前，我在验证过程中使用SSLSockets。 之后，我关闭套接字，并使用RMI发布访存程序并将注册表存储在服务器（控制器）中。 它正在或多或少地起作用...但是我不确定这样做是否是个好主意。

您对如何实现分布式计算平台有任何想法吗？ 我应该使用什么？

谢谢。

Answer 1

据我所知，RMI仅使您能够执行提取程序端已经存在的代码。 但是听起来您想将代码发送到Fetcher以执行。

在那种情况下，我会考虑编写自己的ClassLoader并将类字节码发送到fetcher，然后将其加载并执行。

作为一种协议，我建议使用HTTP，相对稳定的实现也支持TLS和SSL，从而减轻了许多与套接字相关的麻烦。