标签[tensorflow-xla]

XLA(加速线性代数)是线性代数的特定领域编译器,可优化TensorFlow计算。 结果是在服务器和移动平台上提高了速度,内存使用率和可移植性。 最初,大多数用户不会从XLA中看到很多好处,但是欢迎通过实时(JIT)编译或提前(AOT)编译使用XLA进行试验。

0
0回复
34

为什么在我使用XLA_FLAGS转储ptx和llvm时未为矩阵乘法张量流操作生成PTX?

我正在尝试为以下tensorflow . . 代码转储HLO , LLVM IR和PTX : 我使用以下XLA FLAGS运行该程序: . path 目录包含所有HLO传递输出。 但.ll和.ptx在
5
0回复
345

Tensorflow:在设置XLA_GPU_JIT设备编号0时,XLA服务不支持设备CUDA:0

当使用带有Tensorflow后端的keras时,我得到了这个: tensorflow.python.framework.errors impl.InvalidArgumentError:在设置XLA
0
0回复
32

Tensorflow tfcompile:在步骤2失败

我按照https: www.tensorflow.org xla tfcompile进行操作 ,并在第 步失败。 怎么了 我是tensorflow的新手,并希望有人可以提供帮助。 申 git tens
2
0回复
258

使Tensorflow自动检测和使用XLA GPU

我有一个XLA GPU,它不会被tensorflow自动检测到,但是我能够对其进行计算。 我想要的结果: print tf.test.is gpu available 为 True 。 这是我正在运行
0
2回复
1,081

如何为C API激活Tensorflow的XLA?

我从源代码构建了Tensorflow,我正在使用它的C API。 到目前为止一切正常,我也在使用AVX AVX 。 我从源代码构建的Tensorflow也是在XLA支持下构建的。 我现在也想激活XLA
0
0回复
15

如何使用interactive_graphviz for xla?

在xla doc中,它表明了这一点 tmp foo将包含运行的每个HLO模块优化之前和之后的H LO。 您可以按原样阅读,也可以使用tensorflow compiler xla tools:inte
0
0回复
51

如何优化训练有素的Tensorflow图表以实现加速?

为了对冻结的Tensorflow图 .pb 进行快速CPU推断,我目前正在使用Tensorflow的C API。 推理速度已经相当不错了 与英特尔的OpenVINO等CPU专用工具相比 我到目前为止还
1
0回复
63

在tf xla.compile中使用估算器

我正在使用由tensorflow提供的一些固定估计器,例如DNN。 生成的模型大小很大 几百兆字节 ,延迟也很高 几百毫秒 。 我想尝试AOT编译,以查看是否可以改善服务延迟并减小模型尺寸。 是否有一
1
0回复
42

Tensorflow / XLA:LLVM IR中的并行操作数

我对使用 xla dump ir to标志启动Tensorflow程序而获得的LLVM IR感兴趣,特别是我想探索XLA如何处理并行化。 我有一个测试程序在具有 个CPU的计算机上运行, 并且在生成的
1
0回复
15

在GPU执行之前,GPU上的BFCAllocator是否真的支持主机端释放?

当我在TF中阅读XLA的代码时,遇到了以下代码片段。 https: github.com tensorflow tensorflow blob master tensorflow compiler j
0
0回复
46

在4个Nvidia GPU上从基于CPU的神经网络模型转换为GPU并行性的速度没有增加。 我可以将XLA_GPU用作设备吗?

我正在Google Cloud中使用Deployment Manager创建 GPU VM。 我转换了我的神经网络模型 使用tensorflow构建 以进行数据并行处理并在 个GPU的每一个上训练批处
1
0回复
301

CPU上的XLA JIT优化

我正在尝试采用保存的模型 或冻结图 并启用XLA JIT编译。 我使用configProto Optimization选项将其设置为L ,但它似乎对TF图的执行没有任何影响。 我读到它必须完成手动模式
0
0回复
130

TensorFlow-XLA_GPU内存不足,而GPU_BFC拥有大量可用字节

我正在运行分布式TensorFlow程序,每台机器都配备了Maxwell Titan X GPU。 在程序开始时出现OOM错误 下面的错误消息 : 这表明XLA GPU设备的内存不足。 同时,GPU
0
1回复
592

如何打开tensorflow xla

我在tensorflow examples tutorials mnist下尝试了该示例,并尝试应用xla进行加速。 但是,我看不到XlaLaunch如https: www.tensorflow.or
0
0回复
73

尝试在tensorflow XLA jit_scope上下文管理器下的Keras中定义顺序模型时出现ResourceExhaustedError

因此,我的问题是我尝试使用tf.contrib.compiler.jit.experimental jit scope通过TensorFlow . 中嵌入的tf.contrib.compiler.ji
0
1回复
140

如何使用tensorflow xla aot模式构建CNN模型?

我使用xla aot构建了一个CNN模型,它编译时没有错误,但是执行二进制文件时,出现了分段错误。 当我将模型更改为完全连接的网络时,它可以正常工作。 这似乎是一个tensorflow错误,有人使用x
0
1回复
48

在Tensorflow代码注释中,像b / 36865746这样的b / xxxx是什么意思?

在tensorflow compiler xla service Flatten call graph.h ,它说: 什么是b
5
0回复
611

使用带有RNN的Tensorflow和批量标准化

我一直在跟踪Tensorflow中的SEGFAULT。 可以使用以下代码段重现该问题: import tensorflow as tf with tf.device cpu: : xin tf.pla
0
1回复
273

如何在运行时获取张量流以评估形状?

我想在运行时评估张量的形状。 我正在计算两个集合之间的交集。 相交的数量是张量x的尺寸。 在定义图形时,张量的形状设置为 Dimension None 。 因此,通常的x.get shape 方法将仅
1
1回复
302

尝试为Tensorflow编译XLA AOT时出现链接错误

我试图按照本教程建立一个XLA AOT例子 从拍摄的东西这个 。 我已经能够从源代码构建Tensorflow并使XLA JIT在小型mnist softmax xla.py上工作 。 到目前为止,我已