如何建立具有多维输入和输出的Keras模型？

Question

我正在建立一个神经网络来产生歌曲。 我有一个文件，其中包含一首歌曲的所有音符，并且一行对应于一个音符：

0 0 0.05511 0.78740
0 0 0.07874 0.50393
0 0 0.71653 1
0 0 0.50393 0
.. .. .. ..

我想给神经网络10个第一音符 ，然后给它下一个音符 ，作为输出，必须在这10个音符之后播放。

但是我不知道如何构建第一层和最后一层（密集，LSTM ...），因为我有：

1. 10x4尺寸 （4列和10行）的输入。
2. 1x4尺寸 （1行和4列）的输出。

这是我的代码的开头（无法正确读取我的数据）：

model = Sequential()
model.add(Dense(10, activation='relu',input_shape = (10,4)))
model.add(Dense(4, activation='relu'))

谢谢您的帮助。

Answer 1

这是一个序列预测问题，最好通过循环或长期短期存储网络解决。

以下可能是一个很好的入门者：

from keras.models import Sequential
from keras.layers import LSTM, Dense, Dropout
import numpy as np

#assuming all 4 columns correspond to 1 song
data_dim = 4
#so one song would be 10x4 2D array 
number_of_notes_per_song = 10
nsongs_train = 100
#tunable parameter
batch_size = 32
epochs = 5

# I generated dummy data, but you have your own...
x_train = np.random.random((nsongs_train, number_of_notes_per_song, data_dim)).reshape(nsongs_train*number_of_notes_per_song,data_dim)

#this is a supervised learning problem, but your dataset has no labels..
#we can use last note in each song as a label when training LSTM 
X = x_train[np.mod(np.arange(x_train.shape[0]),number_of_notes_per_song)!=0].reshape(nsongs_train,number_of_notes_per_song-1,data_dim)
y = x_train[::number_of_notes_per_song].reshape(nsongs_train,data_dim) 

model = Sequential()
model.add(LSTM(32, input_shape=(number_of_notes_per_song-1, data_dim),return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(64))
model.add(Dropout(0.2))
model.add(Dense(data_dim, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam')

model.fit(X,y,batch_size=batch_size, epochs=epochs)

#predict on unseen data, expects tensors of shape (None, number_of_notes_per_song-1, data_dim)
model.predict(...)

请注意，这是有监督的机器学习问题，但是您的数据集没有标签。 我们可以通过将每首歌曲中的最后一个音符用作标签来解决此问题。 这样可以有效地将序列长度减少1个音符。

另请注意，如果您的歌曲中包含数百个音符，则最好以子序列的方式将它们提供给LSTM，而不是在歌曲结束之前重置状态。 这是Keras进行有状态训练的示例。

如果需要预测整首歌曲（而不只是下一首歌），则需要在所有LSTM层中设置return_sequences=True并在输出处使用TimeDistributed密集层。