[英]Retrieve large results ~ 1 billion using Typesafe Slick
我正在執行一項cron工作，該工作需要每天查詢Postgres。 該表是巨大的〜萬億記錄。 平均而言，我希望每次執行可以檢索到十億條記錄。 我找不到有關Slick 2.1.0使用游標或分頁的任何文檔，我能想到的一種簡單方法是，首先獲取計數，然后使用拖放進行循環。 有沒有更好，更有效的方法來做到這一點？
使用akka，postgresql-async進行Map reduce，先進行計數，然后使用offset + limit查詢分發給參與者，然后在需要時映射數據，然后將resul減少到elasticsearch或其他存儲？
我需要使用python和sql過濾大型數據庫20億個條目
[英]I need to filter a large database 2 billion entries using python and sql
如何在Scala中使用Typesafe Slick創建自定義列類型？
[英]How can I create a custom column type with Typesafe Slick in Scala?
如何在Typesafe conf上為Slick 3.0.0 RC1配置HikariCP
[英]How to configure HikariCP for Slick 3.0.0 RC1 on Typesafe conf
如何為Postgres DB配置Slick 3.0.0（使用Hikari或不使用）Typesafe Play conf
[英]How to configure Slick 3.0.0 for Postgres DB (either with Hikari or without) Typesafe Play conf
使用 in Postgresql 從 24 億行中刪除 2500 萬條記錄
[英]Delete 25 million records from 2.4 billion rows using in Postgresql
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
