mongodb 查詢非常慢

Question

我有一個多線程應用程序，每秒執行數百個事務，但過了一段時間后，性能下降並且查詢執行時間太長。 我一直在使用以下代碼優化連接以避免錯誤，但這導致性能不佳。

我的查詢有插入、刪除和多次更新； 集合不超過 100,000 行。

我有一個 mongoldb 的 4 個 VM 集群，每個在 Azure 上都有 4 個內核和 28GB 的​​內存。 我使用 bitnami 生產構建了集群（ https://azure.microsoft.com/en-us/marketplace/partners/bitnami/production-mongodbdefault/ ）

private static MongoClientOptions options = MongoClientOptions.builder()
.connectionsPerHost(1000)
.threadsAllowedToBlockForConnectionMultiplier(15)
.connectTimeout(60 * 1000)
.maxWaitTime(60 * 1000)
.socketTimeout(60 * 1000)
.connectTimeout(60 * 1000)
.build();

我沒有使用任何索引，這是我的應用程序流程：

1. 我正在使用 db tales 來排隊和處理消息。 每個作業都保存在一個單獨的集合中，每個 msg 都有一個文檔，看起來像這樣（在此階段狀態為“准備好”消息）：

{
"_id": ObjectId("57cd303743ffe80f3728fcf5"),
"_class": "com.mongodb.BasicDBObject",
"job_id": "57cd3031d9991f8639487013",
"priority": 1,
"title": "1",
"sender_id": "sender 1",
"account_id": "57c2d556d9991fbc15897275",
"schedule_date": ISODate("2016-09-05T08:43:00Z"),
"utf8": false,
"content": "text to be sent",
"number": "962799000001",
"status": "ready",
"user_id": "57c2d602d9991fbc1589727b",
"adv": true,
"number_of_sms_msgs": 1,
"uuid": "57cd3031d9991f8639487013_57cd303743ffe80f3728fcf5",
"msg_id": "1955559517"
}

2. 然后，我根據每個作業的優先級將批次從“就緒”狀態移動到“排隊”，並將它們添加到要處理的內存隊列中：

List<DBObject> batch = scaffoldingRepository.findPageNoSort(dataType, page, next_batch_size, query, null);
if (batch != null && batch.size() > 0) {    
    BasicDBList ids = new BasicDBList();
    for (final DBObject msg : batch) {
        msg.put("status", "queued");
        msg.put("uuid", job_id + "_" + msg.get("_id"));
        ids.add(new ObjectId(msg.get("_id").toString()));
    }
    BasicDBObject search = new BasicDBObject();
    search.put("_id", new BasicDBObject("$in", ids));
    BasicDBObject update = new BasicDBObject();
    update.put("$set", new BasicDBObject("status", "queued"));
    scaffoldingRepository.updateObjects(search, update, dataType);
}

3. 然后另一個線程從內存隊列中發送實際的消息並分別更新每個消息的狀態（發送/失敗）； 我在一個單獨的表中為此 msg 添加了一個索引，這樣一旦發件人將最終狀態發回給我，我就可以找到它。
4. 最后，我從發件人那里得到了關於味精（已交付/未交付）的最終結果，我相應地更新了此味精，然后從上一步中的 (job_index) 集合中刪除了索引。

==========================更新： ======================

我注意到我在 Java 日志中收到此錯誤：

com.mongodb.MongoSocketReadTimeoutException: Timeout while receiving message
at com.mongodb.connection.InternalStreamConnection.translateReadException(InternalStreamConnection.java:475)
at com.mongodb.connection.InternalStreamConnection.receiveMessage(InternalStreamConnection.java:226)
at com.mongodb.connection.UsageTrackingInternalConnection.receiveMessage(UsageTrackingInternalConnection.java:105)
at com.mongodb.connection.DefaultConnectionPool$PooledConnection.receiveMessage(DefaultConnectionPool.java:438)
at com.mongodb.connection.WriteCommandProtocol.receiveMessage(WriteCommandProtocol.java:262)
at com.mongodb.connection.WriteCommandProtocol.execute(WriteCommandProtocol.java:104)
at com.mongodb.connection.UpdateCommandProtocol.execute(UpdateCommandProtocol.java:64)
at com.mongodb.connection.UpdateCommandProtocol.execute(UpdateCommandProtocol.java:37)
at com.mongodb.connection.DefaultServer$DefaultServerProtocolExecutor.execute(DefaultServer.java:168)
at com.mongodb.connection.DefaultServerConnection.executeProtocol(DefaultServerConnection.java:289)
at com.mongodb.connection.DefaultServerConnection.updateCommand(DefaultServerConnection.java:143)
at com.mongodb.operation.UpdateOperation.executeCommandProtocol(UpdateOperation.java:76)
at com.mongodb.operation.BaseWriteOperation$1.call(BaseWriteOperation.java:142)
at com.mongodb.operation.BaseWriteOperation$1.call(BaseWriteOperation.java:134)
at com.mongodb.operation.OperationHelper.withConnectionSource(OperationHelper.java:232)
at com.mongodb.operation.OperationHelper.withConnection(OperationHelper.java:223)
at com.mongodb.operation.BaseWriteOperation.execute(BaseWriteOperation.java:134)
at com.mongodb.operation.BaseWriteOperation.execute(BaseWriteOperation.java:61)
at com.mongodb.Mongo.execute(Mongo.java:827)
at com.mongodb.Mongo$2.execute(Mongo.java:810)
at com.mongodb.DBCollection.executeWriteOperation(DBCollection.java:333)
at com.mongodb.DBCollection.updateImpl(DBCollection.java:495)
at com.mongodb.DBCollection.update(DBCollection.java:455)
at com.mongodb.DBCollection.update(DBCollection.java:432)
at com.mongodb.DBCollection.update(DBCollection.java:522)
at com.mongodb.DBCollection.updateMulti(DBCollection.java:552)
at java.util.TimerThread.mainLoop(Timer.java:555)
at java.util.TimerThread.run(Timer.java:505)

這是我的 Mongodb 配置：

# mongod.conf
# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.
storage:
  dbPath: /opt/bitnami/mongodb/data/db
  journal:
    enabled: true
    #engine:
  mmapv1:
    smallFiles: true
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /opt/bitnami/mongodb/logs/mongodb.log

# network interfaces
net:
  port: 27017
  bindIp: 0.0.0.0
  unixDomainSocket:
    enabled: true
    pathPrefix: /opt/bitnami/mongodb/tmp

# replica set options
replication: 
  replSetName: replicaset

# process management options
processManagement:
   fork: false
   pidFilePath: /opt/bitnami/mongodb/tmp/mongodb.pid

# set parameter options
setParameter:
   enableLocalhostAuthBypass: true

# security options
security:
  authorization: disabled
  #keyFile: replace_me

#profiling
#operationProfiling:
  #slowOpThresholdMs: 100
  #mode: slowOp

Answer 1

小貼士

- 在 MongoDB 分析器中，您是否檢查了運行緩慢的查詢。

- 您是否嘗試索引文檔（使用上述步驟的輸入）

- 您使用的是哪個版本的 MongoDB，哪個是存儲引擎。

- 您是否已完成服務器的復制。 如果是，請重新訪問寫關注部分https://docs.mongodb.com/manual/core/replica-set-write-concern/

- 你能檢查一下 mongodb 內存實現是否可以幫助https://docs.mongodb.com/manual/core/inmemory/

- 你可以在這里看到一些重要的提示 - https://docs.mongodb.com/manual/administration/analyzing-mongodb-performance/