为什么 jax.numpy 操作需要 JAX jit？

[英]Why is JAX jit needed for jax.numpy operations?

来自JAX 文档：import jax import jax.numpy as jnp def selu(x, alpha=1.67, lambda_=1.05): return lambda_ * jnp.where(x > 0, x, alpha * jnp.exp(x) - al ...

如何理解云TPU上的padding规则？

[英]How to understand the padding rules on cloud TPU?

Cloud TPU 在卷积操作的 batch_size 和 feature_size 上有两个填充规则，以最小化内存开销和最大化计算效率（来自这里）。 总批量大小应为 64 的倍数（每个 TPU 核心 8 个），特征维度应为 128 的倍数， 要么总批量大小应为 1024 的倍数（每个 TPU ...

在 GCP 上的 Cloud TPU VM 上运行 Pytorch 给出 INVALID_ARGUMENT: No matching devices found for '/job:localservice/replica:0/task:0/device:TPU_SYSTEM:0'

[英]Running Pytorch on Cloud TPU VM on GCP gives INVALID_ARGUMENT: No matching devices found for '/job:localservice/replica:0/task:0/device:TPU_SYSTEM:0'

我在 GCP 上创建了一个 TPU 虚拟机。 我正在关注有关如何使用 PyTorch 在 Cloud TPU VM 上运行计算的文档页面我已经在 VM 中设置了 XRT TPU 设备配置 我创建了一个包含以下内容的 Python 文件： 但是当我运行文件python3 tpu-test.py时，出 ...

在 tensorflow 1.15 中，使用显式 XLA 编译和自动集群有什么区别？

[英]In tensorflow 1.15, what's the difference of using explicit XLA compilation and Auto-clustering?

我正在尝试学习如何将 XLA 用于我的模型。 我在这里查看官方文档：https://www.tensorflow.org/xla#enable_xla_for_tensorflow_models 。 据记载，有两种方法可以启用 XLA：1) 使用@tf.function(jit_compile=T ...

在 Tensorflow 的 while 循环中加载 model

[英]Loading a model inside while loop of Tensorflow

赏金将在 7 天后到期。 此问题的答案有资格获得+50声望赏金。 新手正在寻找一个规范的答案。 我正在尝试使用@tf.function(jit_compile=True)创建带有 while 循环的TF 图； 下面是它的伪代码。 我无法提供功能代码，因为它包含很多依赖项。Code 1 @tf.fu ...

XLA的reshape便宜吗？

[英]Is XLA's reshape cheap?

我想知道xla::Reshape的性能特点。 具体来说，我可以想象它可以通过简单地重新映射XlaOp元数据（例如地址）来实现，而不是创建一个全新的XlaOp 。 或者，XLA 的融合或其他技术是否从本质上使其变得便宜？ 我问的原因是因为我正在研究如何将函数映射到张量上，例如函数 在 [n, m ...

修改 TensorFlow 代码，尤其是 XLA，但构建 TF 会发出以下错误

[英]Modifying TensorFlow code, especially XLA, yet building TF emits the following error

我目前正在修改 TensorFlow 的 XLA 代码，为 GPU 编译器添加优化通道。 我添加了一个 class 和std::map作为成员变量，以在其他优化过程中存储和使用信息。 添加的代码如下：#ifndef _TENSORFLOW_COMPILER_XLA_SERVICE_GPU_NDPX_ ...

XLA HLO 的张量形状中的括号是什么意思？

[英]What does the bracket mean in XLA HLO's tensor shape?

我对{}中的数字感到困惑。 例如，下面的代码是示例 XLA HLO，我无法理解%bitcast.26的作用。 当然，我可以看到维度从f16[8192,768]{1,0}变为f16[16,512,768]{2,1,0} ，但我没有得到什么{1,0}和{2,1,0}代表。 ...

在 Colab TPU 上启动 PyTorch Lightning 项目时出现导入错误

[英]Import error while launching PyTorch Lightning project on Colab TPU

我按照本指南在 Google Colab TPU 上启动了我的 PyTorch Lightning 项目。 所以我安装了 然后 然后我 安装项目要求后，我按要求重新启动运行时，并从上面重新运行 cloud-TPU-client 安装、pytorch-lightning 安装和这两个命令。 它运行得很 ...

带有 XLA 的 TensorFlow 没有充分利用 CPU 容量

[英]Tensorflow with XLA doesn't fully utilize CPU capacity

我创建了一个在 Tensorflow 2.5 中实现的 Monte-Carlo 模拟模型。 该模型主要由tf.while_loop中的向量乘法组成。 我正在对具有 8 个虚拟 CPU 的 Linux 机器上的性能进行基准测试。 当我在图形模式下运行模型时（没有 XLA 优化），模型充分利用了所有 8 ...

如何只安装 XLA？

[英]How to install just XLA?

我想使用 XLA 作为我项目的后端。 有没有推荐的方法来独立安装它（没有 TensorFlow 的其余部分）。 Jax 可能会这样做，但在他们的存储库中查看它并不明显。 更新我为此向TensorFlow提出了一张票 ...

如何返回指向`GlobalData`的指针？

[英]How to return pointer to `GlobalData`?

我正在向 XLA 编写纯 C FFI 层，并希望返回指向GlobalData的指针，由xla::LocalClient.TransferToServer(...)生成。 我试图在免费商店上创建一个新的GlobalData ，因为源代码中的评论说 我还释放了堆栈副本的句柄，如 但它不起作用。 它似乎 ...

XlaBuilder 有什么用？

[英]What is XlaBuilder for?

XLA class XlaBuilder有什么用途？ 文档描述了它的界面，但没有提供动机。 文档中的演示文稿，以及源代码中XlaBuilder上方的评论 表明它只是一个实用程序。 然而，这似乎并不能解释它在其他地方的行为。 例如，我们可以使用XlaBuilder构造一个XlaOp ，例如 在这 ...

如何运行最小的 XLA C++ 计算？

[英]How do I run a minimal XLA C++ computation?

我正在使用 XLA C++ API，我设法运行了一个简单的添加，但我不知道我是否做得对。 似乎有很多我没有使用过的类。 这是我的例子 ...

TF2 IteratorGetNext 中的 XLA：不支持的操作错误

[英]XLA in TF2 IteratorGetNext: unsupported op error

我正在尝试使用 XLA 简单地运行 .pb tensorflow 2 模型。 但是，我收到以下错误： 该错误的发生与模型无关，并且在我训练后直接应用模型时也是如此。 我想，我在做一些根本错误的事情，或者 TF2 没有正确支持 XLA。 没有运行 TF XLA 的相同代码。 有谁知道如何解决这个问 ...

使用不规则张量和 while 循环时，XLA 无法推断跨步切片的编译时间常数 output 形状

[英]XLA can't deduce compile time constant output shape for strided slice when using ragged tensor and while loop

是否有可能获得以下使用experimental_compile=True的最小示例？ 我已经看到这个论点有一些很大的加速，因此我很想弄清楚如何让它发挥作用。 谢谢！import tensorflow as tf print(tf.__version__) # ===> 2.2.0-dev20 ...

使用 XLA tf.function 运行 TensorFlow 会引发错误

[英]Running TensorFlow with XLA tf.function throws error

当我尝试编译此代码时，出现以下错误。 ...

张量流中的索引比收集慢

[英]indexing in tensorflow slower than gather

我正在尝试索引张量以从一维张量中获取切片或单个元素。 我发现使用numpy索引[:]和slice vs tf.gather方式时存在显着的性能差异（几乎 30-40% ）。 我还观察到tf.gather在用于标量（循环未堆叠张量）时具有显着的开销，而不是 tensor 。 这是一个已知问题吗？ ...

TensorFlow XLA 是否已弃用？

[英]Is TensorFlow XLA deprecated?

我刚刚读到（这里）： 在此版本中弃用 XLA_CPU 和 XLA_GPU 设备。 (TF 2.2.0) 现在不推荐使用 XLA 吗？ 它不再使用了吗？ 有替代方案吗？ 或者这一切都是在内部自动处理的？ 这个弃用是什么意思？ ...

支持 XLA 的动态切片

[英]XLA-able dynamic slicing

有没有办法根据 XLA 编译的 function 中的随机数生成器动态切片张量？ 例如：@tf.function(experimental_compile=True) def random_slice(input, max_slice_size): offset = tf.squeeze(t ...