达内广州C++学院|c++培训|广州达内科技C++/C#培训|.NET培训|IT培训|达内广州岗顶中心 达内广州C++学院|c++培训|广州达内科技C++/C#培训|.NET培训|IT培训|达内广州岗顶中心
企业双选会
 当前位置:主页 > 企业双选会 >

Algolia 借助 NGINX 和 OpenResty 实现搜索流量负载均衡

时间:2019-05-09  来源:未知  作者:广州达内培训

Algolia 借助 NGINX 和 OpenResty 实现搜索流量负载均衡

为了解决负载分布不均匀导致的高延迟问题,SaaS Web搜索产品Algolia将其基础设施的DNS轮询负载均衡模型换掉了。他们引入了NGINX和OpenResty作为软件负载均衡器,Redis使用自定义的Go程序来管理后端服务器列表。这个解决方案在Algolia的基础设施之上提供了一个新的抽象层。InfoQ联系了Algolia站点可靠性工程师Paul Berthaux,了解更多关于这个做法的信息。

Algolia“应用”有3个服务器集群和分布式搜索网络(DSN)服务器,后者提供搜索查询服务。DSN在功能上类似于内容交付网络接入点(POP),因为它们从离用户最近的地方提供数据。每个应用都有一个DNS记录。Algolia的DNS配置使用了多个顶级域名(TLD),并且为了获得弹性使用了两个DNS提供商。此外,每个应用的DNS记录都被配置为以轮询方式返回3个集群服务器的IP地址。这是试图将负载分布到集群中的所有服务器上。搜索集群的常见用例是通过前端应用程序或移动应用程序。然而,一些客户也有访问搜索API的后端应用程序。后一种情况会造成负载不均,因为所有请求都将到达同一服务器,直到特定服务器的DNS生存时间(TTL)到期为止。

Algolia的一个应用在黑色星期五(Black Friday)搜索量很大时,搜索速度变得很慢。这导致了查询的不均匀分布。团队瞄准了NGINX作为客户端应用程序和应用服务器之间的软件负载均衡器。虽然这确实解决了负载分配的一般问题,但是仍然存在使该设置具有通用性和自动化操作的问题。团队选择了OpenResty,它为NGINX中的请求-响应生命周期提供Lua脚本支持。使用这个模型,NGINX可以根据客户“了解到”将请求发送到哪个后端服务器。此信息缓存在Redis中。一个名为lb-helper的自定义Go守护进程从内部API获取服务器列表。

在回答是否可以使Redis缓存失效的问题时,Berthaux解释说,他们这样做是“使用了内部公开的用于维护目的的lib -helper中的API端点”。如果团队必须删除大量的后端服务器,并且不希望LB客户端在响应时间上有任何差异,那么就可能需要这样做。

通过此更改,负载均衡器可能成为单点故障。Berthaux解释了为什么现在还不用担心:

为了获得弹性,我们运行着多个LB——LB的选择是通过轮询DNS。目前,这没有问题,因为与我们的搜索API服务器相比,LB执行非常简单的任务,所以我们不需要在它们之间进行均匀的负载均衡。也就是说,我们有一些非常长期的计划,从轮询DNS转移到基于Anycast路由的东西。

lb-helper还负责从列表中删除不健康的服务器。按照Berthaux的说法:

NGINX/OpenResty中嵌入了对上游故障的检测以及针对不同上游流的重试功能。我使用OpenResty中的log_by_lua指令和一些自定义的Lua代码进行失败计数,从活动Redis条目中删除失败的上游,并在连续10次失败后向lib -helper发出警告。我设置了这个故障阈值,以避免短时自解“事件(incident)”(如准时丢包)中很多不必要的事件(event)。这样,lb-helper将探测失败的上游FQDN,并在它恢复后将其放回Redis中。

通过此更改,Algolia的搜索负载趋于平稳。他们目前正在进一步改进负载均衡算法。

查看英文原文:Load Balancing Search Traffic at Algolia With NGINX and OpenResty

互联网的兴起带动了一大批企业乃至行业的发展,网络营销也成为了大多数企业的重要岗位。SEO、SEM、新媒体运营、电商运营等岗位逐渐被大家所熟知,岗位的需求量和薪资待遇也在不断的提升。太原网络营销培训切实结合企业的实际需求进行有效的实操培训,同时定期开设的免费试听课程。选择网络营销培训就到太原达内,太原达内欢迎你的试听。

【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!




上一篇:网易相册宣布停止运营:关闭服务器 不保留数据
下一篇:马化腾:产业互联网将为各行业带来“最大增量”

友情链接:
  • 全球最大晶圆代工半导体制造厂,台积电斥资订购艾斯摩尔机器设备
  • 英特尔依然是那个英特尔,且看英特尔的城防体系
  • 支持双 DRAM 内存接口,慧荣企业级 SSD 主控方案披露
  • 在全球被反垄断罚款,冤!高通到底哪里得罪了欧盟?
  • 强强联合!万业、微电子所和芯鑫共同打造全新半导体设备
  • 复旦大学校长称:对于集成电路产业发展,大学应该主动担当
  • 技术再升级!无锡中科芯攻克晶圆级再布线及晶圆级凸点制备关键技
  • 聚力!万业企业设立集成电路装备集团,提供自主可控设备
  • 德州仪器C2000微控制器增强连通性和控制性
  • 英特尔打出降价策略,以免被竞争对手 AMD 打败?
  • 贸易摩擦的闹剧没有赢家,苹果有勇气离开中国吗?
  • 图像信号与视觉处理器的发展趋势
  • 真干快消品定位方案班(第二期)火热开班
  • Java集合 ArrayList原理及使用
  • TDD(测试驱动开发)死了吗?
  • JAVA基础之XML相关
  • javaweb项目搭建ehcache缓存系统
  • 每日一码——字符串统计
  • 一篇文章帮你彻底搞清楚“I/O多路复用”和“异步I/O”的前世今生
  • 九:模板方法模式
  • 十二:命令模式(人员解耦和)
  • Java 转PPT为图片、PDF、SVG、XPS、ODP以及PPT和PPTX互转
  • SpringCloud学习(SPRINGCLOUD微服务实战)一
  • 记一次微信网页授权后获取用户信息并重定向
  • 速途新营销五点实战洞察解码“品效合一”
  • 十一:外观模式详解(Service,action与dao)
  • 手把手教你学会 基于JWT的单点登录
  • mysql锁机制总结,以及优化建议
  • 解决多个版本jar包冲突【jar内包名重命名】
  • 中国首张5G终端电信设备进网许可证 华为Mate 20 X 5G版入网
  • RPC之Thrift
  • 高级Java工程师必备 ----
  • 天猫618期间实物支付GMV增长38.5%
  • 换季了,老板你的库存处理好了吗?
  • 从“618”大数据看中国消费新活力
  • 小米生态链:贵在格局感与收放度
  • CODING 2.0 企业级持续交付解决方案
  • 老铁奇趴“新京济” 快手*京东618战报出炉
  • 中小企业新媒体运营基本技能
  • 上汽大通房车再度携手LINE FRIENDS 魔都巡游顺利开启
  • 华为高端手机国内市场份额超苹果夺得榜首
  • 中国智能制造分析报告
  • iPlus艾加营销助力腾讯广告牵手吴晓波 推进商业IP变现
  • 2019世界新能源汽车大会7月1日将在海南举行
  • 区域酒企如何转型突围
  • 时时彩论坛
  • 五星体育斯诺克
  • 北单比分直播
  • 河北11选5走势图
  • 福建体彩36选7开奖结果
  • 九龙图库下载