Tensorflow 乘积RNN单元的简单累加和

Question

赏金将在 4 天后到期。 此问题的答案有资格获得+50声望赏金。 Simon Chemnitz-Thomsen正在寻找一个规范的答案。

我正在尝试构建一个 Tensorflow model 来计算两个输入特征的乘积的累积和，即仅预测 (1,2) 应该返回 2，然后预测 (2,2) 应该给出 6=(1 * 2) + (2 * 2)

model.predict([1,2])
>>> 2

model.predict([2,2])
>>> 6

model.reset_states()
model.predict([2,2])
>>> 4

我尝试了以下方法：

import numpy as np
import tensorflow as tf


class MinimalRNNCell(tf.keras.layers.Layer):

    def __init__(self, units, **kwargs):
        self.states = np.array([0])
        self.state = np.array([0])
        self.units = units
        self.state_size = units
        super(MinimalRNNCell, self).__init__(**kwargs)

    def call(self, inputs, states):
        prev_output = states[0]
        output = tf.math.add(prev_output,inputs)
        
        return output, [output]
    

# Define model
#input
inp = tf.keras.layers.Input(shape=(2,))
#split input
x1,x2 = tf.split(inp, num_or_size_splits=2, axis=1)
#calculate product
product = tf.math.multiply(x1,x2)
#reshape product
time_product = tf.keras.layers.Reshape((1,1))(product)
#Define memory cell and layer
memory_product = MinimalRNNCell(units=1)
layer_product = tf.keras.layers.RNN(memory_product)
#calculate cumulative product
cumulative_product = layer_product(time_product)

output = cumulative_product

model = tf.keras.models.Model(inp, output)


if __name__=="__main__":
    x = np.array([
        [1, 2],
        [2, 2]
    ])

    model.compile()
    y = model.predict(x)
    print()
    print("outptut: ", y)
>>> [[2],
     [4]]

请注意我拆分输入的原因是因为这是应该工作的最小 model。 我正在实施的 model 更复杂，并且有更多的步骤相互关联，但这是我无法开始工作的积累。 我觉得使用RNN或LSTM单元可以很容易地实现累积和之类的东西，但它并不像我期望的那样工作。

Answer 1

如果您只想累积乘积，则在build()方法上initialize weight ，然后每次将model.predict()的结果添加到其中。 这是代码...

import tensorflow as tf
tf.keras.backend.clear_session()
class CumulativeProduct(tf.keras.layers.Layer):
    def __init__(self):
        super(CumulativeProduct, self).__init__()

    def build(self, input_shape):
        self.cumulative_product = self.add_weight(shape=(), initializer=tf.keras.initializers.Zeros(), trainable=False)

    def call(self, inputs):
        self.cumulative_product.assign(self.cumulative_product + tf.reduce_sum(tf.reduce_prod(inputs, axis=1)))
        return self.cumulative_product
    
    def reset_states(self):
        self.cumulative_product.assign(0.)

inp = tf.keras.layers.Input(shape=(2,))
cumulative_product = CumulativeProduct()
cum_prod = cumulative_product(inp)
model = tf.keras.models.Model(inp, cum_prod)
x = [[1, 2], [2,2]]
model.predict(x)

6.0

x = [[2, 2]]
model.predict(x)

10.0

#to reset the model variable
cumulative_product.reset_states()