[英]Stacking convolutional network and recurrent layer
我正在为视频序列分类。 它应该在输入和输出标签上取几个视频帧,标签为0或1。因此,这是一个多对一网络。
我已经有一个单帧分类器。 该分类器使用Conv2D
进行了多次卷积,然后应用GlobalAveragePooling2D
。 这将产生长度为64的一维矢量。然后,原始的每帧分类器具有带有softmax激活的Dence
层。
现在,我想扩展此分类器以使用序列。 理想情况下,序列的长度应该不同,但现在我将长度固定为4。
为了扩展我的分类器,我将用1个单位的LSTM层替换Dense
。 因此,我的目标是让LSTM层一个接一个地读取长度为64的几个一维向量,并输出一个标签。
从原理上讲,我现在所拥有的:
input(99, 99, 3) - [convolutions] - features(1, 64) - [Dense] - [softmax] - label(1, 2)
所需架构:
4x { input(99, 99, 3) - [convolutions] - features(1, 64) } - [LSTM] - label(1, 2)
我不知道如何用Keras做到这一点。
这是我的卷积代码
from keras.layers import Conv2D, BatchNormalization, GlobalAveragePooling2D, \
LSTM, TimeDistributed
IMAGE_WIDTH=99
IMAGE_HEIGHT=99
IMAGE_CHANNELS=3
convolutional_layers = Sequential([
Conv2D(input_shape=(IMAGE_WIDTH, IMAGE_HEIGHT, IMAGE_CHANNELS),
filters=6, kernel_size=(3, 3), strides=(2, 2), activation='relu',
name='conv1'),
BatchNormalization(),
Conv2D(filters=64, kernel_size=(1, 1), strides=(1, 1), activation='relu',
name='conv5_pixel'),
BatchNormalization(),
GlobalAveragePooling2D(name='avg_pool6'),
])
这是摘要:
In [24]: convolutional_layers.summary()
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv1 (Conv2D) (None, 49, 49, 6) 168
_________________________________________________________________
batch_normalization_3 (Batch (None, 49, 49, 6) 24
_________________________________________________________________
conv5_pixel (Conv2D) (None, 49, 49, 64) 448
_________________________________________________________________
batch_normalization_4 (Batch (None, 49, 49, 64) 256
_________________________________________________________________
avg_pool6 (GlobalAveragePool (None, 64) 0
=================================================================
Total params: 896
Trainable params: 756
Non-trainable params: 140
现在,我需要一个循环层来处理这些64维向量的序列,并为每个序列输出一个标签。
我已经阅读了手册, TimeDistributed
层将其输入层应用于输入数据的每个时间片。
我继续我的代码:
FRAME_NUMBER = 4
td = TimeDistributed(convolutional_layers, input_shape=(FRAME_NUMBER, 64))
model = Sequential([
td,
LSTM(units=1)
])
结果是异常IndexError: list index out of range
同样的例外
td = TimeDistributed(convolutional_layers, input_shape=(None, FRAME_NUMBER, 64))
我究竟做错了什么?
将评论扩展为答案; TimeDistributed层将给定层应用于输入的每个时间步 。 因此,您的TimeDistributed将应用于提供输入shape=(F_NUM, W, H, C)
每一帧。 将卷积应用于每张图像后,您将获得(F_NUM, 64)
,这是每帧的特征。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.