TensorFlow - 层之间不同的位宽量化

Question

TensorFlow 是否支持层之间不同的位宽量化，或者是否强制在整个模型上执行相同的技术？例如，假设我16-bit在层执行量化n。我可以进行层8-bit量化吗n+1？

Answer 1

不，到目前为止，还没有选项可以dtype为模型的不同层定义不同的内容。

根据的文档tf.keras.layers.Layer。这是所有层都继承自的类。

dtype - 层的计算和权重的 dtype（默认值 None 表示在 TensorFlow 2 中使用 tf.keras.backend.floatx，或在 TensorFlow 1 中使用第一个输入的类型）。