首页 > 编程知识 正文

k线点位的计算方法,定点小数如何计算

时间:2023-05-04 13:07:05 阅读:151087 作者:4035

note

例如,固定01序列值: 0001,1100

量化系数CPU读取值单位值表示逻辑值3 280.1253.52280.257.0

即使在相同的int8数中,由于量化系数的不同,也表示不同的f32值。

另一个note :

在增减固定点数时,量化系数必须相同,其值可能溢出,需要更大的固定点数来临时保存中间值;

如果将两个常数相乘后需要转换为f32,则逆量化系数为2n2*n2n

总结

可以看出以下内容。

浮点数和固定点数的转换是一种映射。 将更紧密的数据空间(F32 )映射到更稀疏的空间(int8 );

定数点的小数点实际上没有。 这只是我们的逻辑设定。 01序列相同,CPU读取都相同。 逻辑上小数点的位置不同,所以我认为代表性的值不同;

3358 www.Sina.com/: https://blog.csdn.net/niaolianjiulin/article/details/82764511

具体链接

以下为图文详情ppt

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。