大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(资料图片仅供参考)
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重List[page]deduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳[page]
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。aust
1、只提供上门服务400-011-6181饮水设备维修公司名称:啄木鸟家庭维修自贡2、
据央视新闻,5月27日17时30分左右,南昌市青山湖区多所幼儿园在区市政公用广场进行“庆六一”文艺演出彩排
据介绍,全球首架C919飞机有着特殊的涂装和“身份证号”——在机身前部印有“全球首架”的“中国印”标识和
根据甘肃省人力资源和社会保障厅、甘肃省财政厅《关于印发2023年选拔招募普通高校毕业生到基层从事“三支一
暴雪为了卖时光徽章和怀旧服玩家谈条件:削难度、加掉落、随机5人本也还回来!,暴雪在巫妖王之怒怀旧服欧美
1、白菜洗好切好备用。2、精肉化冻,清水冲洗。3、青辣椒切好备用。4、热锅放油,小火,炒肉。5、快熟时倒
中央广播电视总台“央博”数字文化艺术博物馆“何以文明——中华文明探源工程成果数字艺术大展”启动仪式27
1、Chineseethnicgroups:中国的少数民族Chinesenationalities:中国的民族
1、同求。2、感激不尽呢!。本文到此分享完毕,希望对大家有所帮助。
作为学生党,我们需要一款性价比高的鼠标来满足日常的学习和娱乐需求。在众多百元内的鼠标中,罗技M275、雷
今天来聊聊关于什么是浅基础?什么是深基础?,举例说明什么是深基础什么是浅基础的文章,现在就为大家来简单
直播吧5月27日讯北京时间5月29日1时,西甲第37轮,巴萨主场对阵马洛卡。孔德回归本场大名单,阿劳霍、佩德
今天来聊聊关于妃夕妍雪,结局,妃夕妍雪凉夕初吻的文章,现在就为大家来简单介绍下妃夕妍雪,结局,妃夕妍
1、讴歌13:1只有几个问题。2、进入后黑屏无限加载:请在兼容模式下运行;2 无法读取内存:删除archive NF
今天来聊聊关于vb语言程序设计考试题,vb语言程序设计是什么的文章,现在就为大家来简单介绍下vb语言程序设
5月26日,川东北渝东北生态环境保护司法与行政执法衔接联席会议在达州市宣汉县举行。
1、《宅男战宅女》是花千芳创作的网络小说。2、发表于起点网。文章到此就分享结束,希望对大家有所帮助。
1、无法恢复除非短信记录在卡里用数据恢复软件恢复文件然后找。本文分享完毕,希望对大家有所帮助。
目前京东售价2199元,可参加(领取200优惠券活动),到手价1699元,属于近期好价。这款手机采用了三星2K屏
1、公元835年(唐大和九年),27岁唐文宗不甘为宦官控制,和李训、郑注策划诛杀宦官。2、夺回皇帝丧失的权
4:1击败林高远,35岁的马龙悄然改写一项纪录:这是他乒乓生涯以来第7次闯进世乒赛男单四强。“六边型战士
近日,湖南省张家界航空工业职业技术学院围绕“技能:让生活更美好”主题,通过技能展示、特色表演、作品展
1、光电是单独的运营商~·现在运营商有:(1)电信(2)网通(3)铁通(4)光电。本文到此分享完毕,希望对
各位考生:现将2023年青海师范大学附属第二实验中学公开招聘进入现场资格审查环节考生的笔试成绩进行公布,
当前大家对于蒲场都是颇为感兴趣的,大家都想要了解一下蒲场,那么小美也是在网络上收集了一些关于蒲场的一
今天来聊聊关于写轮眼都市纵横,小说,写轮眼都市纵横的文章,现在就为大家来简单介绍下写轮眼都市纵横,小
你们好,最近小未来发现有诸多的小伙伴们对于异地可以改银行卡预留手机号吗,怎么改银行卡预留手机号这个问
想必现在有很多小伙伴对于如何评价危情值得一看麽方面的知识都比较想要了解,那么今天小好小编就为大家收集
交易商品牌 产地交货地最新报价氟硅酸钠 含量:99%济南百洁特生物科技有限公司云天化山东省 济南市4400元 吨
图为张程荣(中)带领乌兹别克斯坦籍测量人员进行测量放样工作。徐成涛摄“苏丹姆,你们小组负责237桥的桥
城投平台实际上已经成为地方债务的主要体现形式,规模明显超过地方政府的一般债和专项债之和。地方政府应该
交易商品牌 产地交货地最新报价泳池缓释片 优等,25kg 桶济南鑫厚商贸有限公司山东山东省9000元 吨
为广泛传递儿童声音深化共同缔造活动做好“儿童议事”后半篇文章5月26日市政协、市妇儿工委办市教育局、市
1、病情分析:脑高压多由颅内占位性病变引起,如脑出血、脑肿瘤、脑积水、颅内感染等。2、主要症状是颅内压
3年前,一起发生在网络端的“绿地集团高管出轨事件”引发舆论哗然。一位自称居住在澳洲的网友史某,实名举
新华社华盛顿5月26日电中国驻美国大使谢锋26日在康涅狄格州肯特郡会见美国前国务卿基辛格,表达了中方对基
王承恩太监,王承恩这个很多人还不知道,现在让我们一起来看看吧!1、导语:太监是皇帝身边最亲近的人,但是
1、空军装备研究院蓝天幼儿园,北京市一级一类园,始建于1956年,坐落于北京市海淀安宁路11号院内,是一所
5月25日,商务部部长王文涛在赴美国参加亚太经合组织贸易部长会议期间,在华盛顿会见美国商务部长雷蒙多。
2023年5月18-20日,由中国社区卫生协会和广东省基层卫生协会联合举办的第十七届中国社区卫生服务发展论坛在
1、那就要看是什么时候,什么样的事情或是什么样的情景下说的这话,一般有两种。2、一种是男人离开,来成全
欧洲最大经济体陷入“衰退”!,德国,加息,欧元区,欧洲央行,国际货币基金组织
实践日活动主题节目。本报记者胡凌云通讯员石乔王英浩摄天津北方网讯:“候车排队,遛狗拴绳,规范停车,礼
国际货币基金组织表示,预计2023年全球经济将增长2 9%,较去年10月份预测的2 7%有所改善
青海新闻网·大美青海客户端讯今年以来,青海机场公司多措并举推动民航市场加速恢复,截至5月24日,青海民
知名诗人于坚在诗歌市集分享会上称赞当天的现场是自己参加诸多诗歌朗诵中最好的一次。湾区文艺新生态第①集
永修县气象台2023年05月26日18时05分变更雷电橙色预警信号:我县西部乡镇持续出现强雷电,预计未来2小时内
1、(1)戴上正压式空气呼吸器;(2)向上级(第一责任人及授权人)报告;(3)指派专人至少在主要下风口距
截至2023年5月26日收盘,本钢板B(200761)报收于1 77元,上涨1 72%,换手率0 11%,成交量4266 0手,成交额74 99万元。
皮卡堂妮美宝箱激活码,4399皮卡堂妮美的宝箱激活码这个很多人还不知道,现在让我们一起来看看吧!1、《皮卡
浙江仙通是国内汽车密封条龙头企业,成本控制及盈利能力优势明显,随着产能稳步扩张,有助于提升市占率。
以下是华胜天成在北京时间5月26日13:33分盘口异动快照:5月26日,华胜天成盘中快速上涨,5分钟内涨幅超过2%
1、竖井马头门施工竖井马头门即竖井与隧道交界处,是明、暗挖施工结合部,结构受力复杂,为确保从井壁开喽
赛后,张本智和表示,感谢梁靖崑、王楚钦、孙颖莎和我们拼命打比赛,遇到中国队实在太难了,但是下次还是想
惠企宝政银通办服务为历下区注入经济高质量发展新动力今年,历下区迅速落实市委市政府“项目突破年”会议精
文 羊城晚报全媒体记者许张超图 受访者提供5月25日,由广东省工业和信息化厅、广东省教育厅、广东省人力资
贵阳幼儿师范高等专科学校机测点2023年6月测试工作安排一、报名1 报名对象:本校师生。2 测试量:1500人3
梁靖崑强拆摩托!张本智和无奈出局,日本男队全军覆没,大胖立功,国乒,梁靖崑,世乒赛,张本智和,张继科事件
本周带大家一起乐享云南的无限风光本期分享美景——澜沧拉祜风情园拉祜风情园位于普洱市澜沧县城北郊1公里
“榴莲盲盒”成了今年夏天的新名词。在各个社交平台上,“一起开榴莲盲盒”、“榴莲盲盒开箱”、“快乐就是
近日,浙江省温州市瓯海区人民检察院数据资源检察室正式成立,这是全国首个致力于数据产业司法保护的检察室
今天来聊聊关于济公传下载地址,济公传下载的文章,现在就为大家来简单介绍下济公传下载地址,济公传下载,
惠农区气象台2023年05月26日11时01分发布大风蓝色预警信号:预计今天白天,惠农区全部街道和乡镇有4~5级(5
可以撒上白芝麻。因为白芝麻在烹饪时可以增加菜肴的香味和口感,而煮熟的鹿肉也可以搭配上多种配料进行调味
在当地时间5月24日结束的美国公开杯(USOpenCup)1 8决赛中,巴萨旧将普伊奇所在的洛杉矶银河客场2-0淘汰了
格隆汇5月26日丨海波重科(300517)(300517 SZ)于2023年5月25日14:55-16:30参与2023年湖北辖区上市公司投资者
5月25日,徐州一18岁女生眼皮被拉链夹住,报警求助。消防人员赶到现场发现,该女生早起穿衣服时拉拉链,不
南方财经5月26日电,拼多多第一季度营收376 4亿元,同比增长58%,市场预期319 81亿元,上年同期237 94亿元
中国银河:中国银河:关于A股可转换公司债券2023年跟踪评级结果的公告
瓜帅劝架?哈兰德进球被吹&曼城助教情绪冲动理论,瓜帅赶忙推开,曼城,英超,瓜帅,哈兰德,布莱顿,足球教练,英
你们好,最近小信发现有诸多的小伙伴们对于cad快捷键命令大全,cad镜像快捷键这个问题都颇为感兴趣的,今天
Redmi性能王者!K60Ultra工业设计图曝光
“原本办理需要3天以上的申报过户手续,当天就办完了。”在重庆市垫江县政务服务中心税务窗口前,前去办理
国家税务总局今天(5月26日)举行例行发布会,税务总局有关负责人表示,今年1-4月,全国新增减税降费及退税
初夏骄阳灿烂,一如市民群众的热情。徐家汇公园人头攒动:法治宣传服务台前,社区法官、检察官、公证员、法
机械硬盘的传输速度通常在100MB s~200MB s比较正常。不同品牌和型号的硬盘读写速度会有一定的差异。具体的
鼻子作为人脸中最为突出的部位,不少人都希望拥有一个完美的鼻子。而鼻尖整形手术作为整形手术中的一种,实
产量忧虑油脂反弹 【行业信息及动态】SPPOMA数据,马棕油5月1—20日产量环比增加18 5%,油棕果单产环比
近日,长春至双阳快速路(以下简称“长双快速路”)主线正式通车。据了解,长双快速路项目主线全长33 79公
截至2023年5月25日收盘荣昌生物688331报收于629元下跌17换手率07成交量113万手成交额710085万元5月25日的资
来源:马德兴德兴社5月25日下午,第6届U23亚洲杯预选赛暨2024年巴黎奥运会男足赛亚洲区预选赛小组赛分组抽
1、1 江州市,是中国大陆影视作品中常用的虚构城市,多用于反应政治事件。2、譬如《裸婚时代》、《蜗居》、
修罗神不一样啊,身为神界的执法者,五大神王之一,又是主管杀戮,实力在整个斗罗神界是最强的一位神王,在
5月24日,宁河区挂牌一宗宅地。土地编号为津宁(挂)2023-1号,共三个地块。出让土地面积99588平米,规划建
这也是小米在投入造车之后,净利润表现最好的一个季度。库存水位下降,这主要得益于,一方面,小米在海外市
文:懂车帝原创魏微[懂车帝原创行业]5月26日上午,北京市小客车家庭新能源指标配置2023年积分排序入围家庭
【 许嵩商标被抢注 】 盘点许嵩海蝶音乐公司 近日,许嵩相关话题登上热搜,海蝶音乐回应称“取证中”。据悉
下一步,中国银行潍坊分行将为留学学生提供更完善可行的跨境金融服务,减少家长对孩子留学在外的资金顾虑。
东方网5月26日消息:由上海市教育委员会立项支持、上海学生心理健康教育发展中心指导管理,华东理工大学承
据住房和城乡建设部最新数据显示,当前我国297个地级以上城市已全面实施生活垃圾分类,居民小区平均覆盖率
在日前举行的七国集团广岛峰会期间,美国政府宣布将向乌克兰提供3 75亿美元的军事援助,包括弹药和装备等,
中国移动启动冷冻水型机房专用空调产品集采:总预算超8796万元,C114讯5月26日消息(焦焦)从中国移动官网获
1、巴金散文《我的心》内容简介:记得当初你把这颗心交给我的时候,你对我说过,你的爸爸一辈子拿了它待人
A股房企退市名单或再添新成员,ST粤泰已连续15日跌停,且连续10日收盘价跌破1元,若5月26日收盘未能涨停,
广州日报讯 (全媒体记者 涂端玉)全国首次中药饮片省际联盟采购拟中选结果日前产生,21个中药饮片品种
机构调研后,“小作文”满天飞,谁在释放烟雾弹?最近一周,柯力传感(行情603662,诊股)称得上是“妖股”—
同程旅行(00780)作为在线旅游龙头,疫情期间,该公司业绩在同行中凸显韧性,2023年加速领跑。根据该公司2
关于墨鱼仔怎么吃和处理方法的内容,包含墨鱼仔怎么处理墨鱼仔怎么做怎么处理墨鱼仔怎么吃?冰鲜墨鱼仔怎么
徐翔和华丽家族大股东的争端,谁对谁错很难说清楚,但徐翔指出公司高管不应该在上市公司业绩大幅下滑的过程
X 关闭
银行理财产品是什么?银行理财产品有哪些种类?
降准指的是什么意思?降准对老百姓意味着什么?
国债是怎么赚钱的?国债利率下降会不会亏损呢?
国债收益率下跌说明什么?国债收益率下跌还可以买入吗?
X 关闭