您的位置:首页 > 互联网

跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速体验

发布时间:2022-07-17 05:36:24  来源:互联网     背景:

  跨越速运集团有限公司创建于2007年,目前服务网点超过3000家,覆盖城市500余个,是中国物流服务行业独角兽企业。跨越集团大数据中心负责全集团所有数据平台组件的建设和维护,支撑20余条核心业务线,面向集团5万多员工的使用。目前,大数据中心已建设数据查询接口1W+,每天调用次数超过1千万,TP99在1秒以下。我们利用DorisDB作为通用查询引擎,有效解决了原架构大量查询返回时间过长,性能达不到预期的问题。

  “作者:张杰 跨越集团大数据运维架构师,负责集团公司大数据平台的维护和建设”

    一、业务背景

    1、总体架构

  我们原始离线数仓的总体架构如下图所示,数据从各个业务线的数据库,比如MySQL等,通过数据集成工具汇聚到ETL集群(即Hadoop集群),再使用Hive、Spark、Presto等批量处理引擎进行数据仓库的分层处理,然后将DW层和ADS层的数据推送到各种不同的查询引擎。

  在这些查询引擎之上,有个统一的查询API网关,应用层的自助分析工具或ERP系统前端通过调用这个API网关,将数据内容呈现给用户。

    二、业务痛点

  该系统最大的痛点是查询性能问题。公司对大数据查询接口的响应延迟是有考核的,期望99%的查询请求都能在1秒内返回,比如页面ERP系统、手机端各类报表APP,用户会随时查看数据并进行生产环节调整,过慢的查询响应会影响用户体验,甚至影响业务生产。针对复杂的SQL查询场景,之前采用的Presto、Impala+Kudu、ClickHouse等系统,是远远达不到预期的。另外,针对各种复杂的数据分析业务场景,引入很多不同组件,导致了维护和使用成本非常高。

  因此,我们急需一个新的查询引擎,能统一查询引擎,解决性能查询问题,降低使用和维护成本。

    三、OLAP引擎选型

 

  第一阶段,在2019年,跨越集团大数据中心使用Presto作为通用的查询引擎。此阶段集团大数据中心数仓层基本用的是Hive,Presto可以直连Hive的特性让我们无需做过多的改造,就可以直接生成查询的API。从性能角度考虑,我们也会将数仓中的部分数据拷贝至独立的Presto集群,和数仓ETL集群进行资源隔离。这套架构运行一年多之后,随着业务需求越来越复杂,数据量越来越大,该基于Presto构建的集群性能急剧下降。

  第二阶段,为解决Presto集群性能不足的缺陷,我们基于ClickHouse开始构建新的通用查询引擎。2020年我们使用ClickHouse构建了大量大宽表,将此前需要多层关联的查询逐步迁移到ClickHouse集群。通过这种方式,我们确实解决了此前面临的性能问题。但与此同时,我们需要建设越来越多的大宽表,操作繁琐运维困难。并且这种数据模型无法随业务需求变化而快速改变,灵活性差。

  第三阶段,我们在2021年开始寻找其他能满足我们需求的OLAP引擎,此时我们发现了DorisDB这个产品。首先关注到DorisDB的单表、多表关联查询的性能都非常优秀,能够满足我们对查询延时的需求;DorisDB支持MySQL协议,让我们开发同事在开发接口的时候学习和使用门槛非常低。另外,DorisDB还具备支持按主键更新、支持多种类型外表、部署运维简单以及支持丰富的数据导入方式等特性。这些都是我们所需要的。

  因此,我们开始逐步将以往的分析业务迁移到DorisDB集群上,将DorisDB作为大数据中心的通用查询引擎。

    四、DorisDB在跨越集团的应用

    1、在线场景应用

  当前我们每天在线数据接口的查询请求量已经超过千万。在引入DorisDB前,我们用了8到9种查询引擎来支撑各种在线业务场景。大数据量的明细点查场景使用ElasticSearch作为支撑;对于查询维度固定、可以提前预计算的报表场景,会使用MySQL;对于SQL查询复杂,如果多表Join、子查询嵌套的查询场景,会使用Presto;实时更新的场景,则会使用Impala+Kudu的组合来支撑。

  引入DorisDB后,目前已替换掉Presto和Impala+Kudu支撑的场景。ElasticSearch、MySQL以及ClickHouse,后续也可能会根据业务场景实际情况逐步替换为DorisDB。

  下面详细介绍一个实际在线场景的典型案例。如上图,我们在原Presto系统上有一个包含200个字段的宽表聚合查询。由于业务需求比较复杂,SQL语句有600多行。我们曾希望从业务逻辑上进行优化,但是并不容易,不能因为系统能力问题就一味要求业务方来迁就。现在我们使用10个节点相同配置的DorisDB替换原15台相同配置服务器的Presto集群后,在没有做什么业务逻辑变化的情况下,使用DorisDB明细模型,凭借DorisDB本身的高性能将查询延时从5.7秒降低为1秒,性能是原Presto集群的近6倍。

    2、OLAP场景应用

  跨越集团的OLAP多维分析平台是我们自研的一套BI系统。用户可以根据自己业务场景选择字段以及关联条件等,以拖拉拽的方式生成数据的表格或图表。最早我们支撑OLAP多维分析的后端引擎是Presto,在这类场景下的性能确实不尽如人意。因为性能问题,我们也没办法将这个工具推广给更多的用户使用。我们将后端查询引擎替换为DorisDB后,性能提升非常明显。我们将OLAP多维分析平台向整个集团推广,受到了越来越多的用户好评。

  OLAP多维分析主要是离线分析为主,以客户离线分析场景为例,数据经过ETL处理后,生成对应的DW层或ADS层数据,再通过Broker Load将数据按天导入DorisDB中。我们使用星型模型构建客户主题域,客户主表以明细模型在DorisDB中建表,同样以明细模型创建维表。这样用户就可以在前端对客户主题域的各种指标、各种维度进行拖拉拽,生成对应的表格和图表。

  在客户离线分析场景下,我们DorisDB上线前后业务逻辑没有进行太多调整前提下,TP99从4.5秒下降到1.7秒,性能是原来的三倍(后续我们将尝试开启CBO优化器,预计会有更大性能提升)。绝大多数场景都能实现1s内返回,大大提升了用户的体验。

跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速体验

  利用DorisDB的实时分析能力,我们还构建了实时OLAP多维分析。以运单实时分析场景为例,原本我们是用Hive每两小时跑批的方式来实现的,将固定维度数据算好,结果写入Presto上提供查询,逻辑类似于离线数仓,并不能称为真正的实时。引入DorisDB后,我们调整数据流转逻辑,通过监听Binlog将数据写入Kafka,再通过Rontine Load的方式消费Kafka,将数据实时写入DorisDB中。我们使用更新模型建立实时运单主表,将运单ID设置成主键,这样每一笔运单更新后,都能实时更新到运单主表中。和离线分析场景一样,使用星型模型构建运单主题域。

跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速体验

  通过这样的调整,以往每两小时更新数据的运单主题域,现在可以实现秒级更新,成为名副其实的实时分析。另外此前需要依赖预计算,维度都是固定的,很多分析上功能受限。经改造后,除了大幅提升“实时”体验外,在分析灵活性上的提升也非常明显。实时体验和灵活分析也成为OLAP多维分析平台工具在实际服务中最大的亮点。

    五、后续规划

  1、为了避免部分慢查询影响整体的集群性能,后续会搭建多套DorisDB集群,按业务场景进行物理资源隔离。

  2、DorisDB查询Hive外表的功能,经内部测试比Presto查询Hive的性能要好,后续会将原本Presto查询Hive的场景无缝迁移到DorisDB上。

  3、目前我们在DorisDB上写入了很多实时数据,这些数据需要进行聚合等处理,我们正在尝试使用调度工具,在DorisDB上进行5分钟级、10分钟级的轻量ETL处理。

  4、开启DorisDB的CBO优化器,进一步提升查询性能。

  最后,感谢鼎石为我们提供DorisDB这么好的产品,满足了我们对性能强、功能全的查询引擎产品的要求;感谢鼎石一直以来提供的技术支持,解决了我们在使用中遇到的各类问题。


返回网站首页

重磅!元年科技入选爱分析2021数据智能报告代表厂商
高颜值搭配强功能,坚果G9实为“高性价比机皇”

twitter定位准吗

美股苹果为什么大跌

行业电商新闻

2017年p2p平台数量

联想十一代酷睿笔记本什么时候出


返回网站首页

本文评论
iQOO Neo7核心配置曝光:首发联发科天玑9000+ 同档位极具竞争力
据此前相关爆料显示,iQOO有望在今年10月推出全新的中端机型——iQOONeo7系列,该机最大的卖点就是将搭载联发科天玑9000+旗舰处理器,并且将是业界第一款搭载天玑9000+的中端新机...
日期:10-05
苹果向工程师赠送“Apple M1”特殊 T 恤,庆祝 Silicon 转型完成第一年
  1 月 3 日消息,据 MacRumors 报道,据一位苹果工程师在 Twitter 上分享的图片,苹果正在向从事 M1 芯片工作的工程师和工作人员赠送一件独特的 T 恤衫,以纪念 Mac 向 Apple S...
日期:06-05
雷军已经用上小米13和小米13 Pro「小米笔记本13.3怎么样」
一早小米已经官宣了小米13系列手机,12月1日就会正式发布并且开售,而目前小米的一众高管都已经换上了小米13系列。包括雷军、卢伟冰等人在内的小米高管、官微也都换上了小米13...
日期:12-04
AVG提醒用户谨防软件式“钓鱼”,危害性远甚网页钓鱼
  随着黑客和病毒制造者的手法越来越多的被全球普通计算机用户所熟知,很长一段时间内,病毒和木马的表现显得乏善可陈。正所谓道高一尺魔高一丈,源于回报丰厚的黑色产业链支...
日期:07-26
8大巨星聚拢千万粉丝狂欢,TOM FORD天猫超级品牌日引爆美妆奢品热潮_tom ford彩妆专柜
  5月11日,以“猎爱绝色”为主题的TOM FORD天猫超级品牌日正式拉开大幕。此次TOM FORD天猫超级品牌日开启全新营销玩法,联动朱一龙、孟美岐等8大巨星发声助力,以及智族GQ...
日期:07-14
粤东区十荟团举办优秀团长表彰大会 赋能团长、供应商_粤西十荟团
  6月16日,粤东区十荟团优秀团长表彰大会在惠州举办。十荟团作为社区团购行业头部企业和一家以“团实惠”为主打的基础民生社区电商企业,深耕源头产地供应链、布局多元,凭借...
日期:07-14
中国火车12306APP「中国铁路12306 App下载量超17亿次!最快每秒卖出1500张车票」
2013年12月,为进一步方便旅客购票,中国铁路在原有互联网售票系统的基础上,推出了手机客户端应用程序铁路12306,上线以来,铁路12306 App从1.0版演进到5.5版,历经30多个大版本、500...
日期:10-12
华为鸿蒙os 2.0「华为鸿蒙OS 4.0曝光 P60原生搭载」
昨天下午华为在2022开发者大会中,余承东称HarmonyOS的华为设备已达3.2亿,较去年同期增长113%,鸿蒙智联产品发货量超2.5亿,较去年同期增长212%。随后在会上,华为终端BG首席运营官...
日期:11-08
美国登月火箭又又又推迟发射了,这次因为热带风暴!此前因液氢泄漏、发射台被雷劈等多次推迟
据央视新闻最新消息,当地时间9月24日,据CNN消息,因担心热带风暴袭击佛罗里达州,“阿耳忒弥斯1号”登月任务的发射时间再次推迟。图片来源:新华社又一次“液氢泄漏”据央视新闻,当...
日期:09-26
PICO总裁周宏伟:研发人员约70多名 还会加大投入「pico ceo周宏伟」
凤凰网科技讯 9月27日小时,PICO 4发布会后,PICO总裁周宏伟在媒体采访时表示,目前团队人数在1000人左右,研发人员约70-80人,公司还会加大投入。今日,PICO 4国行版发布,8+128G版本249...
日期:09-29
XSKY软件定义存储一体机 XE2000高效运维实践
  为了保证关键业务的连续运行,存储系统需要全天候就绪。存储系统的日常易于维护和可视化管理变得十分关键。XE2000软件定义存储一体机拥有完善的软硬件运维管理功能,可简...
日期:04-04
火球坠入浙江 警方带走疑似陨石碎片:现场砸出六七厘米深坑「浙江陨石事件」
杭州、金华等多位网友报料:今天(12月15日)傍晚,大概下午5点40分至6点之间,天上有一个明亮的火球”坠落。速度很快,很亮”,不知道是什么东西”。晚上7点11分,小时新闻记者联系上了檀...
日期:12-16
东莞打工仔玩转移动飞聊,分享手机省钱指南
  说到即时通信软件,很多人都会想到QQ,可是说到手机即时通信软件,大家比较熟悉的就只有飞信和手机QQ了。但是今年下半年以来,手机即时通信软件引入了语音功能,米聊和微信两款...
日期:07-24
日媒:中国外卖软件“杀熟”被网友吐槽 日本记者体验(在日本的中国外卖软件)
  日本《西日本新闻》8月22日文章,原题:外卖软件“杀熟”被网友吐槽,日本记者验证 美食外卖、酒店预订、出租车预约等各种各样的网络经济下,人工智能(AI)和大数据在中国的运用范...
日期:08-23
关于乐播投屏收费吗?官方辟谣!(乐播投屏现在收费了?)
  近期有某些第三方平台,以蹭流量的姿势,在传播乐播投屏收费的相关错误信息;其目的应是引导用户安装其自有平台应用或推荐其他难用、长期未更新或已停止维护的应用,这是在浪...
日期:10-27
百度第一季度营收33.3亿美元 同比增长31% 据_百度第一季度净利润10.71亿元 同比增长123%
  百度(Nasdaq:BIDU)今天凌晨发布了截至2011年3月31日的第一季度业绩。财报显示,百度第一季度总营收为人民币24.36亿元(约合3.720亿美元),同比增长88.3%;净利润为人民币10.7...
日期:07-27
三星显示将主导iPhone 14系列面板供应 占比超过70%「苹果12屏幕供应商由三星改为京东方」
11月24日消息,据国外媒体报道,在智能手机等所需的中小尺寸OLED面板方面优势明显的三星电子,是苹果iPhone所需OLED面板的主要供应商,初期是独家供应,现在依旧占据主导地位。百度造...
日期:12-03
腾讯守护者计划协助警方破获红包赌博案 涉案金额超400万
  近日,腾讯守护者计划安全团队协助广西梧州警方成功侦破一起在群内利用红包功能组织赌博的案件,涉案资金400余万元。   2021年2月初,腾讯客服接到用户举报,有不法分子利用...
日期:07-03
价值约1600亿 腾讯将所持美团股份发给股东:此前已减持京东「马化腾持有美团多少股份」
今天下午,腾讯公司发布了Q3季度财报,同时还宣布了多个重大事项,此前传闻腾讯减持美团的消息得到证实,腾讯宣布向股东分配约9.58亿股美团B类普通股,价值将近1600亿港币。乐视智能...
日期:11-18
液晶电视迎来艰难时刻:降价还没到头_液晶电视最近涨价了吗?
  虽然疫情导致液晶面板的生产遭遇一些挑战,但是业界预测,中国液晶电视的价格也不会有大幅度的上扬,能够维持目前的价格已经是不错的。   预计随着生产的恢复,液晶面板的价...
日期:07-17