如何继续我的Spark / Scala项目

Question

我是Spark和Scala的新手。 我正在一个Scala项目中工作，在该项目中我将从SQL Server进行数据访问。

SQL Server中有一个表，其中包含有关衣服的信息。 itemCode是主键和几个具有布尔值0/1的属性-Designer，Exclusive，Handloom和其他几个具有产品属性的列等。

Code Designer Exclusive Handloom
A        1       0         1
B        1       0         0
C        0       0         1
D        0       1         0
E        0       1         0
F        1       0         1
G        0       1         0
H        0       0         0
I        1       1         1
J        1       1         1
K        0       0         1
L        0       1         0
M        0       1         0
N        1       1         0
O        0       1         1
P        1       1         0

然后列表继续。

我必须从具有ATLEAST的320个项目中选择32个项目的集合：8个设计师，8个独家产品，8个手摇织机，8个WeddingStyle，8个PartyStyle，8个Silk，8个Georgette

我已经通过添加额外的列并在添加的列和所需列之间使用sumproduct函数解决了MS Excel求解器（它使用Gradient Descent算法）中的问题。 因此，问题在那里得到解决，并且大约花费了1分钟30秒。

另外，可以通过编写具有32个联接（如此之多）的SQL查询来解决该问题，例如，如果我想从上面的16个条目中选择至少6个条目，而其中至少有4个条目设计器，4个独占，4个手织机，则查询将就像我的帖子： MYSQL-选择满足许多计数条件的行

在生产中，我必须以这种方式获取32行，所以我的问题是如何继续进行该项目。

我正在使用Scala IDE for Eclipse，并在那里添加了spark mllib。 我已经通过JDBC提取了数据并将其存储在数据帧中，并创建了一个临时表：dataFrame.registerTempTable（“ Data”）

mllib优化中有一个类优化器，它使用梯度下降（类似于excel求解器）来解决问题。 但是，这是用于机器学习，并以训练数据作为输入。

我不明白如何进行我的项目。 我可以使用mllib还是在sparkSQL中使用更好更好的sql版本。 我需要认真的帮助。

Answer 1

我建议您使用https://spark.apache.org/docs/1.3.0/sql-programming-guide.html#creating-dataframes而不是MLLib。

Answer 2

我通过线性编程解决了这个问题。 我现在在我的Scala项目中将lpsolver库用于Java。 它提供的效果几乎与excel解算器相同。