如何使用spark從clickhouse讀取非常大的表並將其寫入hdfs

Question

請告訴我，如何切割表（clickhouse）以將其寫入 hdfs 表很大，超過 3000 億行。 我正在使用火花（Scala）。 我嘗試了 select 期間（一個月），它沒有用，我收到錯誤： Caused by: java.io.EOFException: reached end of stream after reading 1572 bytes; 預計 23242 字節

Answer 1

您使用的 jdbc 驅動程序似乎已 2 年未更新，可能不再與最新的 ClickHouse 版本兼容。 我建議嘗試官方支持的 ClickHouse 驅動程序。

<groupId>com.clickhouse</groupId>
<artifactId>clickhouse-jdbc</artifactId>
<version>0.3.2-patch9</version>