[英]N-grams - not in memory
我有3百万的摘要,我想从中提取4克。 我想建立一个语言模型,所以我需要找到这些4克的频率。
我的问题是我无法在内存中提取所有这些4克。 如何实现一个可以估算这4克的所有频率的系统?
听起来你需要将中频计数存储在磁盘而不是内存中。 幸运的是,大多数数据库都可以做到这一点,python可以与大多数数据库进行通信。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.