后端接口限流:令牌桶、漏桶和滑动窗口实现对比
后端接口限流:令牌桶、漏桶和滑动窗口实现对比 最近在给一个接口加限流,本来想着随便找个库糊上去完事,结果翻了几篇文章发现讲得都挺玄乎的,什么“令牌桶允许突发、漏桶恒定速率”,看完还是不知道代码该怎么写。索性自己把三种常见的实现都撸了一遍,顺便记一下踩过的坑,省得下次再翻。 先说清楚,这里聊的限流都是单机内存版的,分布式那种基于 Redis 的方案改天再单独写,不然一篇塞不下。 令牌桶:最常用的那个...
阅读更多后端接口限流:令牌桶、漏桶和滑动窗口实现对比 最近在给一个接口加限流,本来想着随便找个库糊上去完事,结果翻了几篇文章发现讲得都挺玄乎的,什么“令牌桶允许突发、漏桶恒定速率”,看完还是不知道代码该怎么写。索性自己把三种常见的实现都撸了一遍,顺便记一下踩过的坑,省得下次再翻。 先说清楚,这里聊的限流都是单机内存版的,分布式那种基于 Redis 的方案改天再单独写,不然一篇塞不下。 令牌桶:最常用的那个...
阅读更多用 Terraform 管理云资源时状态文件拆分与协作规范 Terraform 这玩意儿,一个人用的时候挺爽,apply 一敲,资源就起来了;一旦变成多人协作,最先出问题的往往不是模块写得烂,而是 state 文件没管好。我见过一个 state 里塞了网络、数据库、K8s、监控、IAM 的,plan 一次要等好几分钟,两个人同时改还得抢锁,最离谱的是有次误删了一个安全组,结果半个环境跟着遭殃。所以...
阅读更多Rust 项目中错误类型转换与上下文信息的组织方式 先说为什么开始较真这件事 最早写 Rust,我的错误处理基本就是两招:能 unwrap 就 unwrap,不能就 .maperr(|e| e.tostring())?。项目小的时候毫无问题,毕竟报错的时候日志里好歹有一行字符串。等到服务上线,半夜被叫起来看日志,看到一句 No such file or directory,然后就没了——哪个文件?...
阅读更多大型 Monorepo 中增量构建缓存策略与常见问题 前阵子我们一个 Monorepo 的 CI 时间突然从 40 多分钟掉到了 8 分钟,大家一开始还挺开心,结果某次发版后首页直接白屏。查了半天,发现是构建缓存命中了,但缓存里的 NEXTPUBLICAPIURL 还是旧环境的值。从那以后我就明白一件事:增量构建缓存最难的从来不是“开个缓存”,而是你到底能不能说清楚,什么变了、什么没变、什么输出还...
阅读更多用 Apache Kafka 处理重复消息时幂等写入的设计 Kafka 说它保证“至少一次”,很多人第一眼看到这句话就默认消息不会丢,然后顺手把“重复”这件事交给下游数据库的唯一索引去扛。真到线上跑一阵子才发现,唯一索引只能挡住完全一样的主键,挡不住“业务上已经处理过两次”的情况。尤其是消费端先查后写、或者写库成功但提交 offset 失败的时候,重复消息一定会来,不是概率问题,是时间问题。 先说...
阅读更多用 Caddy 为本地开发服务自动配置 HTTPS 证书 起因 本地开发的时候,HTTP 其实大部分时候够用,但总有几个东西卡在 http://localhost 上不给面子。比如 Service Worker,比如 navigator.clipboard,比如某些需要 Secure Context 的 Web API,再比如后端设了 SameSite=None 的 Cookie,到了本地就直接被...
阅读更多MongoDB 分片键选择对读写分布和查询性能的影响 先把结论说在前面 分片键不是建集合时随手填的一个参数。它基本决定了三件事:写入会落到哪些分片、查询是只找一两个分片还是把整个集群扫一遍、后面 chunk 怎么分裂和迁移。选得好,集群加机器就能跟着扛;选得不好,数据是分散了,但热点、广播查询、jumbo chunk 一个都不会少。 我一开始也把分片键当成“能分就行”的东西,后来被监控图教育了。下...
阅读更多前后端分离项目中 Cookie 与 JWT 鉴权方案的差异 前几天把一个小后台从 JWT 换回了 Cookie Session,不是 JWT 不能用,而是这个项目一共就两个前端、一个后端,用户量也不大,我实在不想为了“无状态”三个字再维护一套 refresh token 和黑名单。换完之后顺手把两种方案又捋了一遍,发现网上很多对比文章写得像选边站,其实真到项目里,差别都在一些很具体的地方。 先说结...
阅读更多用 Jaeger 分析分布式系统中跨服务调用延迟 先说我遇到的情况 最近有个下单接口,P99 突然从 300ms 涨到 1.2s,日志里每个服务都说自己挺快,结果用户就是不买账。一开始只能靠猜:网关是不是慢了?订单服务是不是在等支付?支付服务是不是在等数据库?说实话,跨服务延迟这种事,光看日志真的容易吵架。后来把 Jaeger 拉起来跑了一遍,才看到时间到底耗在哪儿。 把 Jaeger 跑起来 测...
阅读更多Git 分支模型中处理长期特性分支合并冲突的实用方法 先承认一个事实:长期分支就是会冲突 只要一个特性分支活过两三周,就很难指望最后合并时干干净净。尤其是多人同时在改同一个模块,main 上还在修 bug、升依赖、改配置,特性分支这边也在动同一批文件,冲突基本是早晚的事。 我以前也试过“最后一次性合,谁冲突谁解决”,结果就是合并当天啥也干不了,光看 diff 就看到眼花。后来我自己的做法变了:不再...
阅读更多