小Cの已经记不起来的博客

↓ 向下滚动

性能优化手记:熔断 排查全过程

性能优化手记:熔断 排查全过程 周二下午刚开完会,告警群就开始刷屏:订单服务调用商品服务的熔断器打开了,失败率一路飙到 60% 多。第一反应是商品服务是不是挂了,结果点进大盘一看,人家 CPU、GC、数据库连接池都挺正常,只有订单服务这边在疯狂报 TimeoutException。这种“下游没死、上游先熔断”的情况最烦人,因为熔断只是结果,根因还在别处。 先别急着调熔断阈值 我一开始也想过直接把 ...

阅读更多

Redis 缓存穿透、雪崩与 任务调度

Redis 缓存穿透、雪崩与 任务调度 前阵子把服务拆成多实例,顺手把 Redis 缓存和定时任务也一起收拾了一遍。结果上线没两天,监控就开始报警:数据库 QPS 飙高,定时任务偶尔还重复跑。说实话,缓存穿透和缓存雪崩这两个词以前看文章觉得挺概念化,真出问题的时候,日志和监控一点也不抽象,全是实打实的连接数和慢查询。这里把我这边的处理方式记一下,不一定是最优解,但至少是我踩过坑之后能跑起来的版本。...

阅读更多

一次线上 鉴权体系 故障的复盘记录

一次线上 鉴权体系 故障的复盘记录 下午两点二十多,群里开始有人丢截图,说 App 里所有接口都在转圈,点进去看后台返回 401。我第一反应是有人把测试环境的东西发布到线上了,打开监控看了一眼,鉴权入口的 401 比例从平时的 0.1% 左右,在十分钟里爬到 12%,而且还在往上走。这就不是个别用户的问题了。 第一反应:是不是有人在刷接口 先看来源 IP,非常分散,移动端 4G 的段居多,请求频率...

阅读更多

微服务架构下 数据脱敏 的设计与权衡

微服务架构下 数据脱敏 的设计与权衡 最近在搞微服务的数据脱敏,发现这事比想象中麻烦。原来单体应用一个拦截器能搞定,现在服务拆得七零八落,用户手机号在订单服务、用户服务、通知服务、日志里到处飞。你要脱敏,先得回答:在哪脱?脱给谁看?脱完还能不能用?这些问题不统一,最后就是每个服务各写一套正则,维护起来想死。 先别急着上工具,先把数据流画出来 我一开始也是直接找开源组件,结果发现没有一个能开箱即用。...

阅读更多

React 项目中 蓝绿部署 的设计取舍

React 项目中 蓝绿部署 的设计取舍 React 项目做蓝绿部署,一开始我以为把 Nginx 的 root 指到新目录就完事了,结果被浏览器缓存和 index.html 教育了一顿。前端蓝绿不像后端那样只要两个实例、切个 Service 就完事,真正麻烦的是静态资源、入口文件和 API 兼容窗口。下面是我们踩过一圈之后留下的方案,以及每一步为什么要这么取舍。 先说结论:别把蓝绿部署想成流量开关...

阅读更多

WebSocket 实时通信与 优雅停机 应用

WebSocket 实时通信与 优雅停机 应用 先把场景摆出来 我这边有个实时通知服务,前端用 WebSocket 收消息,后端 Node.js 挂着 ws。功能不复杂,平时也没啥存在感,直到每次发版:进程一重启,客户端就开始批量报“连接已断开”,有些页面还得手动刷新才能恢复。更烦的是,偶尔有消息正好卡在重启那几秒,发是发出去了,但客户端没收到,事后查日志只能看到一行“connection clo...

阅读更多

一次线上 分库分表 故障的复盘记录

一次线上 分库分表 故障的复盘记录 背景 我们订单库是 4 库 × 4 表,按 userid 取模分片,中间件用的 ShardingSphere-JDBC。平时查询、更新都带 userid,上线快一年没出过大的幺蛾子。结果上周四下午,一个历史数据修复任务把整个订单库差点拖死。 故障现象 14:07 开始告警,订单查询接口大量 500,P99 直接拉满。应用日志里一片: 第一反应是数据库崩了?登上监...

阅读更多

从零实现一个简易的分库分表

从零实现一个简易的分库分表 最近一个老项目的订单表眼瞅着快 3000 万了,单表查询开始有点顶不住。本来想直接上 ShardingSphere,结果看了一眼配置,头有点大。干脆自己写一个简易的,先把分库分表这事儿跑通,后面再换中间件也不迟。下面是实测能跑通的版本,代码不复杂,但坑不少。 先把分片规则定下来 这里不搞太复杂,就按 userid 分。规则是: 也就是说,两个库,每个库两张表,一共 4 ...

阅读更多

从零实现一个简易的鉴权体系

从零实现一个简易的鉴权体系 最近在折腾一个小项目,本来只想加个登录功能,结果翻了翻现成的鉴权方案,要么是一整套 OAuth 流程,要么直接上 SSO、OIDC,配置文件和概念堆得比我整个项目的代码还多。然后我就想,算了,自己写一个吧,反正就是“注册、登录、证明你是谁”这三件事。 下面这套东西不是拿来上生产的,但它确实能跑,而且整个过程能让你把鉴权到底在干什么搞明白。我做的时候是用的 Node.js...

阅读更多

WebSocket 实时通信与 任务调度 应用

WebSocket 实时通信与 任务调度 应用 先说背景。前阵子给内部做了个任务平台,用户可以提交一批批处理任务,后台跑完再把结果推回前端。一开始图省事,前端直接 setInterval 每 5 秒拉一次 /api/tasks,接口压力倒还好,毕竟用的人不多,但是那个体验是真的难受——任务一多,表格里的状态就一卡一卡地跳,明明任务已经跑完了,前端还得等下一次轮询才能看见。更要命的是,任务执行过程中...

阅读更多
未在播放