
[英]TF 2 Keras model benchmarking with JIT
我正在尝试对一些 TF2 keras 代码进行基准测试 - 特别是,将 JIT 编译性能与非 JITed 进行比较。 tf.test.Benchmark在没有 JIT 的情况下给出了合理的外观结果——与nvidia-smi输出相比,内存使用量大致一致,时间非常接近model.fit但model.f ...
[英]TF 2 Keras model benchmarking with JIT
我正在尝试对一些 TF2 keras 代码进行基准测试 - 特别是,将 JIT 编译性能与非 JITed 进行比较。 tf.test.Benchmark在没有 JIT 的情况下给出了合理的外观结果——与nvidia-smi输出相比,内存使用量大致一致,时间非常接近model.fit但model.f ...
[英]Tensorflow: device CUDA:0 not supported by XLA service while setting up XLA_GPU_JIT device number 0
我在 Tensorflow 后端使用 keras 时得到了这个: tensorflow.python.framework.errors_impl.InvalidArgumentError:设置 XLA_GPU_JIT 设备编号 0 时 XLA 服务不支持设备 CUDA:0 相关代码: ...
[英]Tensorflow tfcompile: fail at step 2
我遵循https://www.tensorflow.org/xla/tfcompile ,但在第 2 步失败。 怎么了? 陈 ~/git/tensorflow$ bazel build --config=opt //t1:test_graph_tfmatmul ... INFO:在文件 ...
[英]How can I activate Tensorflow's XLA for the C API?
我从源代码构建了Tensorflow,我正在使用它的C API。 到目前为止一切正常,我也在使用AVX / AVX2。 我从源代码构建的Tensorflow也是在XLA支持下构建的。 我现在也想激活XLA(加速线性代数),因为我希望它会在推理过程中再次提高性能/速度。 如果我现在开始 ...
[英]Tensorflow Serving with XLA
使用 Tensorflow Serving 进行推理时是否可以启用 XLA 编译? (我希望这只是未记录配置的问题,并且我可以避免实现自定义 Servable)。 ...
[英]How to open tensorflow xla
我在tensorflow / examples / tutorials / mnist下尝试了该示例,并尝试应用xla进行加速。 但是,我看不到XlaLaunch如https://www.tensorflow.org/performance/xla/jit所述。 另外,我尝试通过以下方式 ...
[英]How to use tensorflow xla aot mode to build a CNN model?
我使用xla aot构建了一个CNN模型,它编译时没有错误,但是执行二进制文件时,出现了分段错误。 当我将模型更改为完全连接的网络时,它可以正常工作。 这似乎是一个tensorflow错误,有人使用xla aot构建了CNN模型吗? ...
[英]What does b/xxxx such like b/36865746 mean in Tensorflow code comments?
在tensorflow\\compiler\\xla\\service\\Flatten_call_graph.h ,它说: 什么是b/36865746 ? ...
[英]How to get tensorflow to evaluate shape at runtime?
我想在运行时评估张量的形状。 我正在计算两个集合之间的交集。 相交的数量是张量x的尺寸。 在定义图形时,张量的形状设置为[Dimension(None)] 。 因此,通常的x.get_shape()方法将仅返回None 。 有没有一种方法可以在运行时评估形状None ? 我可以做se ...
[英]Link error trying to compile XLA AOT for Tensorflow
我试图按照本教程建立一个XLA AOT例子(从拍摄的东西这个 )。 我已经能够从源代码构建Tensorflow并使XLA JIT在小型mnist_softmax_xla.py上工作 。 到目前为止,我已经完成了以下步骤: 1) 2)我还必须将/home/m2angus/te ...
[英]Why is TensorFlow XLA in experimental status
我对使用XLA进行自定义设备(FPGA,...)的培训感兴趣。 但是,我从开发人员的教程中学到了XLA处于实验状态。 https://www.tensorflow.org/performance/xla/ 我不知道XLA处于实验状态的原因。 除了性能改进外,关于XLA还有什么 ...
[英]Cannot create the final binary using tensorflow AOT compilation for CPU backend
我按照这里的教程进行操作: TensorFlow AOT 编译 根据步骤1和2,我编译了子图并生成了头文件( test_graph_tfmatmul.h )和对象( test_graph_tfmatmul.o )文件; 根据第 3 步,我使用示例代码(名为my_code.cc )来调用子图; 根 ...
[英]how tensorflow inference in fp16 with model trained in fp32
在NV V100 / P100中,是否有无缝方式可以获得最佳的fp16性能? 例如,我在fp32中训练了一个模型和实现。 该应用程序完美。 现在,我想探索fp16的体验。 有没有简单的方法来实现这一点。 ...
[英]How to dump tensorflow XLA LLVM IR?
我曾经在Tensorflow 1.2中使用以下命令: export TF_XLA_FLAGS='--dump_ir_before_passes=true --dump_temp_products_to=./tmp' 用于在Tensorflow中转储LLVM IR。 但是,此标志li ...
[英]indexing in tensorflow slower than gather
我正在尝试索引张量以从一维张量中获取切片或单个元素。 我发现使用numpy索引[:]和slice vs tf.gather方式时存在显着的性能差异(几乎 30-40% )。 我还观察到tf.gather在用于标量(循环未堆叠张量)时具有显着的开销,而不是 tensor 。 这是一个已知问题吗? ...
[英]Tensorboard is not populating graph on windows
我编写了简单的python程序来乘以两个值,并期望填充张量板图。 我正在使用Windows - CPU机器。 然后在执行我的程序后,它在日志目录路径中生成了必需的图形事件文件,名称为events.out.tfevents.1504266616.L7 我使用下面的命令启动tens ...
[英]Broadcasting between two same-rank tensors in tensorflow
我有两个具有形状的张量x和s : 我想通过维度1广播x和s之间的点积,如下所示: 哪里 我有这个实现: 我了解,由于tile ,这在内存中效率不高。 同样, reshape的, transpose的element-wise和reduce_sum的操作可能会损害较 ...
[英]tensorflow XLA not producing the dot file
我试图遵循有关XLA和JIT的教程( https://www.tensorflow.org/performance/xla/jit )。 根据https://www.tensorflow.org/performance/xla/jit#step_3_run_with_xla ,当我运行命令时 ...
[英]Two implementation of virtual batch norm lead to two differents results
介绍性问题: 这两个示例代码是否应该导致培训方面的行为不同(任何损失/任何优化程序)? 我的真实情况: 我正在尝试实现虚拟批处理规范,我有两种实现方式,它们的行为方式与改进的gan仓库所启发的方式不同。 此处显示的两种实现方式均经过简化,以保留它们之间的大部分差异。 ...
[英]Tensorflow - XLA | How are TF ops lowered to XLA for training
在培训期间如何将tensorflow操作降低到XLA操作? tensorflow / compiler / tf2xla / kernels下的文件仅根据ComputationBuilder中的ops定义了正向传递/推断。 这个问题与“ Tensorflow-XLA |在运行时将张量 ...