即刻执行

08 Jun 2020

动态图与静态图

1. Dynamic control flow

获得python(宿主语言)的所有函数性质。

2. eager training

2.1 计算梯度

tf.GradientTape 追踪operation并随后计算梯度。

每一次call可能有不同的operation,前向操作会得到记录给“tape“,为了计算梯度,向后play tape并随后丢弃。

2.2 train a model

3. 高级自动微分

tf.GradientTape can also be used in dynamic models

Custom gradients are commonly used to provide a numerically stable gradient for a sequence of operations: