Mongodb模型的唯一性

Question

场景：

每天10.000.000记录

记录：访问者，访问日，集群（我们在哪里看到），元数据

我们想知道这些信息：

1. 针对给定日期范围的一个或多个群集上的唯一访问者。
2. 白天独特的访客
3. 为给定范围（平台，浏览器等）分组元数据

我坚持使用的模型，以便轻松查询此信息是：

{
   VisitorId:1, 
ClusterVisit: [
                {clusterId:1, dates:[date1, date2]},
                {clusterId:2, dates:[date1, date3]}
              ]
}

指数：

1. by VisitorId（确保唯一性）
2. 通过ClusterVisit.ClusterId-ClusterVisit.dates（用于搜索）
3. 通过IdUser-ClusterVisit.IdCluster（用于更新）

我还必须将群组分成不同的集合，以便更有效地访问数据。

导入：首先我们搜索VisitorId - ClusterId的组合，然后我们addToSet日期。

第二：如果第一个不匹配，我们upsert：

    $addToSet: {VisitorId:1, 
        ClusterVisit: [{clusterId:1, dates:[date1]}]
    }

如果clusterId不存在或者如果VisitorId不存在，则使用第一次和第二次导入。

问题：当集合增长时，更新/插入/ upsert完全低效（几乎不可能），我想因为添加新日期时文档大小变大了。 难以维护（主要是未设置日期）

我有一个超过50.000.000的集合，我不能再成长了。 它仅更新100~记录/秒。

我认为我使用的模型对于这种大小的信息并不是最好的。 在我学习分片之前，你认为什么才能获得更多的upsert / sec并快速查询信息，这将花费更多的时间来学习并对它充满信心。

我在AWS RAID 10上有一个带有10个磁盘的x1.large实例

Answer 1

大型集合上的数组很昂贵：mapreduce，aggregate ...

试试.explain（）：MongoDB'count（） '非常慢。 我们如何改进/解决它？

为索引添加显式提示： 尽管设置了索引，但简单的MongoDB查询非常慢

完整堆？： 插入node-mongodb-native的性能

收集的内存空间结束： 如何提高MongoDB中update（）和save（）的性能？

特殊阅读聚类： http ： //www.colinhowe.co.uk/2011/02/23/mongodb-performance-for-data-bigger-than-memor/

全局写锁？： mongodb性能不佳

慢日志性能跟踪： 跟踪MongoDB性能？

旋转日志： 日志输出到输出文件会影响mongoDB性能吗？

使用探查器： http ： //www.mongodb.org/display/DOCS/Database+Profiler

将一些集合缓存移动到RAM： MongoDB将文档预加载到RAM中以获得更好的性能

关于集合分配大小的一些想法： MongoDB数据模式性能

使用单独的集合： 具有不断增长的数据结构的MongoDB性能

单个查询只能使用一个索引（更好的是复合索引）： 为什么这个mongodb查询这么慢？

丢失密钥？： 慢MongoDB查询：你能解释一下原因吗？

也许是分片： MongoDB在聚合查询上的表现

改进性能stackoverflow链接： https ： //stackoverflow.com/a/7635093/602018

进一步分割副本教育的一个好处是： https ： //education.10gen.com/courses