[英]How to create a sliding window after applying Text Vectorization on tf Datasets?
我正在使用 TensorFlow 的TextLineDataset
讀取一個大文本文件。 我想標記數據集並創建一個滑動 window 並將標記化文本分為兩部分 - 輸入和 label。如果文本文件具有以下文本:
Lorem ipsum dolor sit amet...
然后我想創建預先填充 0 的指定長度的序列。 我想遍歷文本並將除最后一個以外的所有文本用作輸入,最后一個用作 label。因此,我的目標是首先將文本標記為如下所示:
Lorem: 1,
ipsum: 2,
dolor: 3,
sit: 4,
amet: 5,
...
然后創建一個長度為 5 的序列來訓練 model:
X_train = [[0, 0, 0, 0, 1], [0, 0, 0, 1, 2], [0, 0, 1, 2, 3], ...]
y_train = [2, 3, 4, ...] # next word of the sequence in X_train
我正在使用TextVectorization
進行標記化,但無法找到一種有效的方法來為大型數據集創建輸入和標簽。
vectorize_layer = tf.keras.layers.TextVectorization(output_mode='int',
max_tokens=MAX_WORDS,
output_sequence_length=MAX_SEQUENCE_LENGTH)
vectorize_layer.adapt(train_data)
train_data = train_data.map(vectorize_layer)
在數據集上使用 for 循環會使設備用完 memory 並嘗試分配大量 memory。執行此操作的最佳方法是什么?
您可以使用來自tensorflow-text
的滑動 window function ; 然而, TextVectorization
層似乎只應用后填充:
import tensorflow as tf
import tensorflow_text as tft
with open('data.txt', 'w') as f:
f.write('Lorem ipsum dolor sit amet, consectetur adipiscing elit. Aliquam efficitur viverra lacus?\n')
train_data = tf.data.TextLineDataset(['/content/data.txt'])
vectorize_layer = tf.keras.layers.TextVectorization(output_mode='int', max_tokens=50, pad_to_max_tokens=True)
vectorize_layer.adapt(train_data)
window_size = 5
def sliding_window(x):
encoded = vectorize_layer(x)
x = tft.sliding_window(encoded, width=window_size, axis=0)
y = tft.sliding_window(encoded, width=window_size + 1, axis=0)[:, -1]
return x[:tf.shape(y)[0],:], y
train_data = train_data.map(sliding_window)
vocab = tf.constant(vectorize_layer.get_vocabulary())
keys = tf.cast(tf.range(vocab.shape[0]), tf.int64)
table = tf.lookup.StaticHashTable(
tf.lookup.KeyValueTensorInitializer(keys, vocab),
default_value="")
train_data = tf.data.Dataset.zip((train_data.map(lambda x, y: x).flat_map(tf.data.Dataset.from_tensor_slices),
train_data.map(lambda x, y: y).flat_map(tf.data.Dataset.from_tensor_slices)))
for x, y in train_data:
print('x -->', x, 'y -->', y)
print('x -->', table.lookup(x), 'y -->', table.lookup(y), '\n')
x --> tf.Tensor([ 4 6 9 3 11], shape=(5,), dtype=int64) y --> tf.Tensor(10, shape=(), dtype=int64)
x --> tf.Tensor([b'lorem' b'ipsum' b'dolor' b'sit' b'amet'], shape=(5,), dtype=string) y --> tf.Tensor(b'consectetur', shape=(), dtype=string)
x --> tf.Tensor([ 6 9 3 11 10], shape=(5,), dtype=int64) y --> tf.Tensor(13, shape=(), dtype=int64)
x --> tf.Tensor([b'ipsum' b'dolor' b'sit' b'amet' b'consectetur'], shape=(5,), dtype=string) y --> tf.Tensor(b'adipiscing', shape=(), dtype=string)
x --> tf.Tensor([ 9 3 11 10 13], shape=(5,), dtype=int64) y --> tf.Tensor(7, shape=(), dtype=int64)
x --> tf.Tensor([b'dolor' b'sit' b'amet' b'consectetur' b'adipiscing'], shape=(5,), dtype=string) y --> tf.Tensor(b'elit', shape=(), dtype=string)
x --> tf.Tensor([ 3 11 10 13 7], shape=(5,), dtype=int64) y --> tf.Tensor(12, shape=(), dtype=int64)
x --> tf.Tensor([b'sit' b'amet' b'consectetur' b'adipiscing' b'elit'], shape=(5,), dtype=string) y --> tf.Tensor(b'aliquam', shape=(), dtype=string)
x --> tf.Tensor([11 10 13 7 12], shape=(5,), dtype=int64) y --> tf.Tensor(8, shape=(), dtype=int64)
x --> tf.Tensor([b'amet' b'consectetur' b'adipiscing' b'elit' b'aliquam'], shape=(5,), dtype=string) y --> tf.Tensor(b'efficitur', shape=(), dtype=string)
x --> tf.Tensor([10 13 7 12 8], shape=(5,), dtype=int64) y --> tf.Tensor(2, shape=(), dtype=int64)
x --> tf.Tensor([b'consectetur' b'adipiscing' b'elit' b'aliquam' b'efficitur'], shape=(5,), dtype=string) y --> tf.Tensor(b'viverra', shape=(), dtype=string)
x --> tf.Tensor([13 7 12 8 2], shape=(5,), dtype=int64) y --> tf.Tensor(5, shape=(), dtype=int64)
x --> tf.Tensor([b'adipiscing' b'elit' b'aliquam' b'efficitur' b'viverra'], shape=(5,), dtype=string) y --> tf.Tensor(b'lacus', shape=(), dtype=string)
請注意,沒有相應的 label 的序列將被x[:tf.shape(y)[0],:]
行丟棄。 此外,查找表僅用於演示目的,不需要實現您想要的。 如果您想應用預填充,可以查看tft.pad_along_dimension 。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.