关注《爪哇笔记本》,在公众号之星排名首位
更多精彩的第一时间直达
发布HotKey在618稳定版0.2中引入了proto序列化方式,优化了传输对象。
worker单体性能从618大安定化促进版的20万QPS稳定化、30万极限上升到30万稳定化、37万极限。 处理器峰值下降了15%。
该中间件目前已被京东内部10多个核心部门访问和使用,并在京东App服务器端前台、中间台、数据中心等多个核心业务线提供服务。
架构
京东APP后台热数据检测框架经历了多次高压压力测量和2020年京东618大促进考验。 在线运行期间,每天检测到的密钥数量达到数十亿,可以准确捕获大量爬虫和画笔用户,还可以准确检测大量热门商品并以毫秒级推送至每个服务端的内存,从而缓解热数据查询数据层的压力
该框架经过多次压力测量,8核单机工作器端每秒可接收和处理16万个key探测任务,16核单机至少每秒顺利处理30万以上,实际压力测量达到37万,CPU支持顺利,呵呵
对外推送目前的性能每秒平稳推送约10万次。 例如,假设您有1,000台服务器,并且每秒钟一个工作器上有100个热密钥,那么这一秒钟将顺利推送100* 1000=10万次。 实际上,每秒推送40万次的场景也多次出现,会发生部分延迟,但不会丢失。
在实际的业务场景中,1:1000的比例,即一个工作器支持1,000个服务端Tomcat的key探测任务,可以大大节省数据存储资源,包括扩展redis群集
介绍热点数据(例如突然大量要求相同商品)、热用户(例如爬虫、刷子)、热接口)突然大量要求相同接口)等然后,这些热数据、热用户等将被推入所有部署APP应用程序的计算机的JVM内存中,从而大大减少了对后端数据存储层的冲击。 此外,客户端可以确定如何使用这些热键,包括热商品的本地缓存、拒绝访问热用户、热界面熔断和恢复默认值。 这些热键在整个APP应用集群中保持一致。
核心功能:检测热数据并将其推送到集群中的每个服务器。
应用场景:
1 mysql热数据的本地缓存
2 redis热数据本地缓存
3黑名单用户的本地缓存
4爬行类用户限流
5界面,用户维限制
6独立接口,用户维度电流限制
7群集用户维限制
8集群接口维度限流
这个开源项目战略意义重大,经历了百万级并购,参与京东开源中间件项目的建设,一直在等着你。
界面效果
源代码:
3359 gitee.com/JD-platform-open source/hotkey
程序员所需的15个微服务体系结构框架
真香、百万鉴黄服务源代码开源
真香、百万妹子图小程序源代码开放源代码
百万妹子图微服务版终于开源了
回复私生活有助于你迎接私生活
你点的东西我都看了,我以为我是认真喜欢的