使用字符串张量进行 Tensorflow 字典查找

Question

有没有办法在 Tensorflow 中基于字符串张量执行字典查找？

在普通的 Python 中，我会做类似的事情

value = dictionary[key]

. 现在我想在 Tensorflow 运行时做同样的事情，当我将我的key作为字符串张量时。 就像是

value_tensor = tf.dict_lookup(string_tensor)

会好的。

Answer 1

您可能会发现tensorflow.contrib.lookup有帮助： https : //github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lookup/lookup_ops.py

https://www.tensorflow.org/api_docs/python/tf/contrib/lookup/HashTable

特别是，您可以执行以下操作：

table = tf.contrib.lookup.HashTable(
  tf.contrib.lookup.KeyValueTensorInitializer(keys, values), -1
)
out = table.lookup(input_tensor)
table.init.run()
print out.eval()

Answer 2

如果您想使用默认启用 Eager Execution 的新 TF 2.x 代码运行它。 下面是快速代码片段。

import tensorflow as tf

# build a lookup table
table = tf.lookup.StaticHashTable(
    initializer=tf.lookup.KeyValueTensorInitializer(
        keys=tf.constant([0, 1, 2, 3]),
        values=tf.constant([10, 11, 12, 13]),
    ),
    default_value=tf.constant(-1),
    name="class_weight"
)

# now let us do a lookup
input_tensor = tf.constant([0, 0, 1, 1, 2, 2, 3, 3])
out = table.lookup(input_tensor)
print(out)

输出：

tf.Tensor([10 10 11 11 12 12 13 13], shape=(8,), dtype=int32)

Answer 3

tf.gather 可以帮助你，但它只获取列表的值。 您可以将字典转换为键和值列表，然后应用 tf.gather。 例子：

# Your dict
dict_ = {'a': 1.12, 'b': 5.86, 'c': 68.}
# concrete query
query_list = ['a', 'c']

# unpack key and value lists
key, value = list(zip(*dict_.items()))
# map query list to list -> [0, 2]
query_list = [i for i, s in enumerate(key) if s in query_list]

# query as tensor
query = tf.placeholder(tf.int32, shape=[None])
# convert value list to tensor
vl_tf = tf.constant(value)
# get value
my_vl = tf.gather(vl_tf, query)

# session run
sess = tf.InteractiveSession()
sess.run(my_vl, feed_dict={query:query_list})

Answer 4

TensorFlow 是一种数据流语言，不支持张量以外的数据结构。 没有地图或字典类型。 但是，根据您的需要，当您使用 Python 包装器时，可以在驱动程序进程中维护一个字典，该字典在 Python 中执行，并使用它与 TensorFlow 图形执行交互。 例如，您可以在会话中执行 TensorFlow 图的一个步骤，向 Python 驱动程序返回一个字符串值，将其用作驱动程序中字典的键，并使用检索到的值来确定要请求的下一个计算从会议。 如果这些字典查找的速度对性能至关重要，这可能不是一个好的解决方案。