c内置函数exp ) )来计算f ) x )的值很慢,sigmoid在CPU中需要很长时间进行计算。 请参见fast-sigmoid-algorithm。 CPU的性能比较结果为100000 times sigmoid==2.81878 msfastsigmoid==0.589737 ms,但GPU忽略了两者的差异,不记得了。 如果fast_Sigmoid(x )=(x/(1|x|) 0.5f ) x )的参数不接近零,则exp ) x )中使用的数组扩展的第一个术语不会很大,参数为“”
另一种方法是使用表检索.也就是说,可以预先计算某个数量的数据点的Sigmoid函数值,根据需要对它们进行高速(线性)插值.
参考:
3359 github.com/sy encil/tensor rt