数值稳定性

在计算机中执行数学运算需要使用有限的比特位来表达实数,这会引入近似误差。近似误差可以在多步数值运算中传递、积累,从而导致理论上成功的算法失败。因此数值算法设计时要考虑将累计误差最小化。当从头开始实现一个数值算法时,需要考虑数值稳定性。当使用现有的数值计算库(如 tensorflow )时,不需要考虑数值稳定性。