与Akka Actor进行可变状态的非阻塞更新

Question

编辑：意图的澄清：

我有一个（5-10秒）scala计算，可以在给定的时间点聚合来自许多AWS S3对象的一些数据。 我想通过REST API提供此信息。 我还想每隔一分钟左右更新一次此信息，以便在此期间将新对象写入该存储桶。 摘要本身将是一个大的JSON Blob，并且如果我缓存来自先前更新的S3 API调用的结果（因为这些对象是不可变的），则摘要可以节省一堆AWS调用。

我目前正在Scala中编写基于Spray.io的REST服务。 我希望REST服务器能够继续提供“过时的”数据，即使当前正在进行计算。 然后，一旦计算完成，我想自动开始服务于新数据快照的请求。

我最初的想法是让两个参与者，一个进行Spray路由和服务，另一个负责长时间运行的计算，并将最新的缓存结果提供给路由参与者：

class MyCompute extends Actor {
  var myvar = 1.0 // will eventually be several megabytes of state
  import context.dispatcher
  // [ALTERNATIVE A]:
  // def compute() = this.synchronized { Thread.sleep(3000); myvar += 1.0 }
  // [ALTERNATIVE B]:
  // def compute() = { Thread.sleep(3000); this.synchronized { myvar += 1.0 }}
  def compute() = { Thread.sleep(3000); myvar += 1.0 }

  def receive = {
    case "compute" => {
      compute() // BAD: blocks this thread!
      // [FUTURE]:
      Future(compute()) // BAD: Not threadsafe
    }
    case "retrieve" => { 
      sender ! myvar 
      // [ALTERNATIVE C]:
      // sender ! this.synchronized { myvar }
    }
  }
}

class MyHttpService(val dataService:ActorRef) extends HttpServiceActor {

  implicit val timeout = Timeout(1 seconds)
  import context.dispatcher
  def receive = runRoute {
    path("ping") {
      get {
        complete {
          (dataService ? "retrieve").map(_.toString).mapTo[String]
        }
      }
    } ~
    path("compute") {
      post {
        complete {
          dataService ! "compute"
          "computing.."
        }
      }
    }
  }
}

object Boot extends App {
  implicit val system = ActorSystem("spray-sample-system")
  implicit val timeout = Timeout(1 seconds)

  val dataService = system.actorOf(Props[MyCompute], name="MyCompute")
  val httpService = system.actorOf(Props(classOf[MyHttpService], dataService), name="MyRouter")
  val cancellable = system.scheduler.schedule(0 milliseconds, 5000 milliseconds, dataService, "compute")

  IO(Http) ? Http.Bind(httpService, system.settings.config.getString("app.interface"), system.settings.config.getInt("app.port"))

}

在编写过程时，一切都是安全的，但是当传递“计算”消息时，MyCompute actor将阻塞线程，并且无法为MyHttpService actor提供请求。

一些替代方案：

akka.agent

akka.agent.Agent看起来可以很好地处理此问题（用Agent代替MyCompute actor），除了它似乎是为状态的更简单更新而设计的：：实际上，MyCompute将具有多个状态位（其中一些是几兆字节的数据结构），并且sendOff使用sendOff功能似乎都会重写所有状态，这似乎不必要地施加了很多GC压力。

同步化

上面的[Future]代码解决了阻塞问题，但是好像我在正确阅读Akka文档一样，这不是线程安全的。 在[替代A]中添加同步块是否可以解决此问题？ 我也可以想象，我也只需将实际更新同步到[替代B]中的状态。 在读取状态方面，我似乎也需要像在[ALTERNATIVE C]中一样进行操作？

喷雾缓存

Spray-cache模式似乎是在考虑Web服务用例（带有键的小型缓存对象）的基础上构建的，因此我不确定它是否适用于此。

pipeTo期货

我已经看到了将一个长期运行的计算包装在Future中，然后用pipeTo用管道将其返回到同一参与者以更新内部状态的示例。

问题是：如果我想在长时间运行的计算过程中更新actor的可变内部状态怎么办？

是否有人对此用例有任何想法或建议？

tl; dr：

我希望我的演员在长时间运行的计算中更新内部可变状态而不会发生阻塞。 有想法吗？

Answer 1

因此，让MyCompute actor为每次计算创建一个Worker actor：

1. MyCompute出现“计算”
2. 它会记住发件人并生成Worker演员。 它将工作者和发件人存储在Map [Worker，Sender]中
3. 工人进行计算。 完成后，Worker将结果发送到MyCompute
4. MyCompute更新结果，并使用完成的Worker作为键从Map [Worker，Sender]中检索其顺序。 然后它将结果发送给订购者，然后终止Worker。

只要在演员中受阻，便会生成一个专用的演员来处理它。 每当需要使用另一个线程或Actor中的Future时，都可以生成一个专用的actor。 每当需要抽象化Actor中的任何复杂性时，就生成另一个actor。