即刻执行
动态图与静态图
1. Dynamic control flow
获得python(宿主语言)的所有函数性质。
2. eager training
2.1 计算梯度
tf.GradientTape
追踪operation并随后计算梯度。
每一次call可能有不同的operation,前向操作会得到记录给“tape“,为了计算梯度,向后play tape并随后丢弃。
2.2 train a model
3. 高级自动微分
tf.GradientTape
can also be used in dynamic models
Custom gradients are commonly used to provide a numerically stable gradient for a sequence of operations: