您的位置:首页 > 互联网

时序数据库 IoTDB 应用于中芯 国际智能厂务耗量分析_时序数据库厂商

发布时间:2023-09-12 10:04:31  来源:互联网     背景:

工业物联网场景中,随着工厂设备日益自动化、复杂化,传统的人工抄表、人工记录等管理模式无法适应厂务设备管理需求,通过接入具有时序数据管理能力的数据库,构建针对厂务耗量数据的实时数据中心,有助于实现智能化厂务耗量分析,进而及时处理生产异常事件、节省能耗成本、提高产线能效。

在这一背景下,因国产化替代时序数据库、保障数据安全性的需求,以及对于数据存储的成本控制与资源合理分配需求,中芯 国际选择时序数据库 IoTDB 构建厂务耗量实时数据中心,实现了对不同生产所需能源的实时计算与监控,赋能半导体行业生产。

业务方向:智能厂务耗量分析

时序数据库 IoTDB 在中芯科技的主要应用方向为厂务,是为生产提供水、电、气、热、化学品等动力、材料供应,维持生产所需环境的保障、服务部门。同时也是执行环境保护政策、持续改善节能减排、处理生产时所产生的废水、废气、废液、部分固体废弃物的部门。

传统厂务完全依靠人(人工抄表,人工记录,报警人员通知等),厂务系统智能化是行业大趋势。传统发现能源消耗都是靠人的经验,通过事后总结发现问题,智能监控和耗量分析能及时发现问题。为在厂务层面提高生产效率、降低能源消耗、预判设备故障,需要寻求对于厂务部门产生的耗量时序数据更优的管理方案,以通过智能厂务耗量分析,实现降本增效。

中芯科技在智能厂务耗量分析的业务痛点如下:

时序数据库厂商

人工抄表计算存在误差

中芯科技厂务部门在能源方面,主要是做人工抄表,通过抄表得到每一天不同的设备的能耗情况。这些能耗情况都会是通过人工去抄录并计算的,而这种抄录可能会存在一些时间上的不稳定,计算也可能会出现一些误差,影响实现精准的耗量管理。

无法知道未来耗量

中芯科技目前是没有对未来耗量情况做一些预测的,无法知道接下来的消耗,也不能提前筹备市场供应。比如说氦气供应在半导体行业的生产是至关重要的,而氦气是非常昂贵的,没有未来耗量预测业务,中芯科技在如氦气这方面的供应就无法实现进一步的供给与成本平衡。

存在能源浪费

当前中芯科技的厂务设备中,其实在某些环节会存在一些能源浪费,比如研磨液系统。然而通过目前中芯科技的厂务业务,无法明确知道哪些环节造成了浪费,进而也就无法准确做出工艺/环节改进措施,达到深入业务链路降本增效的目的。

经过数据库选型,中芯 国际选择了时序数据库 IoTDB 支持厂务时序数据的写入、存储与计算。时序数据库 IoTDB 除了高吞吐、高压缩的底层性能表现能够完整的保留目前所有传感器的厂务数据,它还能够对于耗量数据进行实时计算、监控与分析,方便中芯 国际实现后续的厂务流程优化。

解决方案:建立厂务耗量实时数据中心

小米13最新价格

中芯 国际基于时序数据库 IoTDB 打造了针对厂务耗量数据的实时数据中心。中芯 国际对于信息安全是非常关注的,不希望通过网络泄露生产决策信息,所以能看到架构图如下所示,共包括三个区域:FCMS 厂务网络、数据隔离区、办公网络。数据隔离区的出现,就是为了更好地保障信息安全。

FCMS 这一侧是数据的源头,采用了西门子服务器设备,数据的传送由这些设备发起。它们会采集不同设备上的传感器数据信息,然后通过 PLC 上报的方式上报进中央节点,然后将数据信息进行推送。推送的数据首先会经过数据隔离区,然后由代理 server 转发到在这里部署的数据采集服务。数据采集服务器共部署有两台,互为备份。数据采集服务器将数据上报到 Kafka,并最终在办公网络进行数据的加工、计算、存储。这部分处理工作分为两部分,一部分是跟点位数据实时相关的,会通过流计算后去存下来。另外一部分是静态的一些数据,如 Spec 信息,以及报警信息,会单独只存到数据库中。时序数据库 IoTDB 部署于办公网络层,通过 Kafka 流转至 Java Consumer 后进行数据存储,实现数据的永 久保留存储与数据清洗、处理、计算。

整个架构的思路是,上层将 PLC 数据按批次打包,通过 Rest API 收集上游的数据推送。然后,推送的数据首先会进入消息队列,原始数据会写入 Kafka 集群。接下来,在办公网络通过 Java 程序做消费监听处理,数据进入 Spring-Kafka 消费队列,点位排序后,消费的数据会组织成 tablet,写入 bitmap。最后,通过时序数据库 IoTDB 提供的 Session Pool 管理会话连接,并利用 IoTDB Tablet 进行批量写入。

以数据平台为技术底座,并结合网关 API 负载均衡、数据转发等设置去解决负载压力,中芯 国际在业务上,能够基于时序数据库 IoTDB 实现点位的信息查询、耗量的统计,以及实现了失败补偿的 schedule、任务。同时,中芯 国际在平台服务的任务调度方面主要通过 yarn 集群实现,数据服务除时序数据库 IoTDB 提供的数据存储、离线 TsFile 缓存等功能,也结合 Spark Streaming 技术进行进一步的数据实时计算,以此构成数据中心对业务系统的支撑。

美股三大股指大涨

时序数据处理难度包括数据量大、上报频次高、乱序/空值数据处理等多项难题,相比其他类型的数据库,时序数据库 IoTDB 的树形数据模型能够根据水电气等系统设备在工厂的真实关系进行映射,并达到高扩展性,有效减少了运维学习成本。同时,时序数据库 IoTDB 可达到毫秒级写入、 10 倍+无损压缩比的性能,也完全能够满足中芯 国际的时序数据存储需求。目前,中芯 国际共有上万个时间序列,并可实现在现有硬盘资源条件下,永 久保存数据,存储成本可控;相比以前使用的写入方案,目前的方案单实例吞吐量提高 3 倍,2 实例运行吞吐量提高 6 倍。

在保障数据高通量写入、低成本存储的情况下,时序数据库 IoTDB 还内置了 70+ 个 UDF 函数,包括数学函数、趋势计算函数、降采样函数、区间查询函数等多类,对于实际生产过程中需要的基本运算需求和针对时间类属性的查询需求,都专门设置了算子,能够直接支持,进而能够实时查看数据趋势,准确判断能源耗量。并且,时序数据库 IoTDB 支持用户自定义计算函数,可保存至系统进行下一次运算。

时序数据库 IoTDB 这样的性能优势就保证了数据存储的实时性、计算的准确性、业务预判与改进的可能性,对于中芯科技的厂务业务可发挥明显的自动化、智能化作用。

应用场景举例:SPC 曲线

SPC 曲线能够看到数据点位数据的曲线图,旨在应用统计分析技术对生产过程进行实时监控,科学的区分出生产过程中产品质量的随机波动与异常波动,从而对生产过程的异常趋势提出预警,以便生产管理人员及时采取措施,消除异常,恢复过程的稳定,从而达到提高和控制质量的目的。SPC 曲线图是采用抽样的方式去展示的,抽样的频率分别需要分钟级和小时级,同时基于 SPC 曲线结果,还需要实时计算 CPK(过程能力指数,指过程能力满足产品质量标准要求,如规格范围等的程度),以保障实时生产质量。

时序数据处理方案

时序数据库 IoTDB 支持指定频率进行采样,最 大单位支持到天,最小单位能支持到毫秒,并可以基于时序数据库 IoTDB 的 resample 函数进行上采样得到 SPC 曲线,上采样可以实现指定频率下随机抽样,满足了中芯 国际质量部门实时观察实际生产数据趋势的需求。在采样后,时序数据库 IoTDB 也同时支持 stddev、avg、max_value、min_value 等计算函数,方便针对生产数据进行必要的进一步运算,以明确数据波动性质。

时序数据处理方案

应用场景举例:多类能源耗量计算

通过时序数据库 IoTDB 提供的 Grafana 插件,对点位曲线进行数据分析后,中芯 国际认为其业务的点位曲线分为累积值和非累积值两类。而耗量计算场景又因能源的不同和供给方式的不同,存在不同需求。能源消耗周期是有差异的,分全时段供应和部分时段供应。多个容器供应同一种能源时,需要收集多个容器的耗量;多个容器存在交替供应时,又需要记录各容器供应时段的耗量,所以针对不同能源类型的不同统计特性,实现耗量计算的方式也有不同。

时序数据库 IoTDB 提供算子应用于中芯 国际多类能源耗量计算场景中,如电力系统、超纯水系统、大宗气系统、研磨液系统、特气系统、化学品系统、废水系统等,实现了多类能源耗量的准确计算、智能监控,并为能源浪费改进、生产流程优化等后续迭代方向提供了数据的有力支撑。

下面根据能源不同的损耗模式与计算方式,进行举例:

电力系统

电力无疑是维持半导体行业生产的核心能源,一般一座晶圆厂每年都会消耗数亿度电。电属于全时段供应能源,耗量单位为度(kwh)。电的传感器分两类,一类是记录瞬时功率的,一类是记录每次耗电量并累计。

对于瞬时传感器,因其提供的数据是功率,那么功率的耗量计算是通过下图的阴影面积求和得到的,也就是通过将各时段瞬时功率转化为度,然后累加。计算方式为 SUM(相邻值时间差(转换成小时)* 当前瞬时功率),此处用到了时序数据库 IoTDB 提供的两个趋势计算函数:TIME_DIFFERENCE 和 DIFFERENCE。

对于累计值传感器,需要计算的是单位时间内的总消耗量的情况下,计算过程就比较简单了,直接用结尾电量 - 开始电量就可以。在这个场景中,部分时段值数据存在缺失或为 NULL,这种数据缺失情况可能是一段时间都没有值的,所以采用了取前值的方式去进行补足,并运用了时序数据库 IoTDB 中的 fill(previous) 函数。

超纯水系统

超纯水主要供应在机台,应用于清洗半导体芯片、制造半导体材料、制造半导体器件等多个生产步骤,以去除杂质,保证制造出的半导体材料质量。纯水是通过管道供应,目前有管道共 6 个,每个管道上有两个传感器,一个负责入水测量,一个负责出水测量。传感器测量的是水流过时的液位,单位是立方米。

纯水属于全时段供应,传感器属于累计值传感器,自身会不断累计过往的水量。因此,需要计算的是每个管道单位时间内的消耗量,同样可以直接计算结尾消耗量 - 开始消耗量就可以,但是需要多计算一步,分别计算入水量和出水量的情况。与累计电量一样,这里也会使用取前值,运用时序数据库 IoTDB 中的 fill(previous) 函数的方式弥补数据不足。

研磨液系统

研磨液的作用是在晶圆表面形成非常细致的平滑度和精度,以确保半导体器件具有高质量和高性能。研磨液通过管道输送原液,通过将多种原液混合,然后输送给加工芯片的机台。由于工艺复杂,存在等待供应和吹扫等特殊过程,需要考虑到非正常损耗的情况,人工计算耗量的方法只能根据经验配合图控显示的关键环节粗略计算,因此这类能源的降本增效急需智能能耗系统介入。计算研磨液耗量的传感器记录罐中的液体重量,单位为磅。

研磨液整个流程分传输原液、混液、供混液三部分。其中混液过程存在真实消耗,整个过程通过 13 种状态进行记录。由于用量大,混液在多个罐同时或交替进行,因此共需要两类传感器,记录罐中液体重量,和记录罐处于什么运行状态。研磨液全时段供应时,整个时间周期都要计算耗量。分时段供应时,多个 Tank 供应同一种能源,同一时段只会有一个 Tank 供应,因此需要实现分时段多个 Tank 的耗量计算。

鸿合电子白板一体机

研磨液的耗量计算,状态传感器记录 Tank 的供应状态,例如 10 代表供应,非 10 代表非供应,重量传感器记录 Tank 实时重量,而耗量 = 处于供应状态的重量传感器的值的差之和。通过时序数据库 IoTDB 提供的函数,可以实现下方右图的研磨液耗量曲线,每次的最 高值和最 高、最 低拐点之间的差值总和,即为总消耗量。这里也会使用取前值,运用时序数据库 IoTDB 中的 fill(previous) 函数的方式弥补数据不足。同时,因为存在 fill 值需要排除参与计算、状态传感器与重量传感器不属于同一个点位的业务场景特点,于是目前的计算解决方案是两阶段计算,先计算出供应状态时间段,再通过时间段获取数据,进而在客户端完成耗量计算。

另外,在供应期间为,为了达到研磨液的供应标准,需要定期加入双氧水做吹扫,所以这个部分的研磨液重量变动不能算入耗量。目前的解决方法是观察数据,记录研磨液上下限,并只计算下降曲线中 [上限,下限] 区间内的数据,以达到精确计算研磨液耗量的目的。

可见,时序数据库 IoTDB 提供的计算函数能够灵活适配于多个能耗场景,同时时序数据库 IoTDB 可与可视化平台无缝集成,满足实时可视化监控需求的同时,其写入、存储、计算等多类功能能够帮助中芯科技更好地控制能源成本,提高生产环节效率,保障生产流程安全。

联系我们

天谋科技(Timecho)成立于 2021 年 10 月,是行业领先的时序数据库管理系统及相关服务的提供商,现已获得近亿元人民币天使轮融资。公司由 Apache IoTDB 核心团队创立,团队聚焦大数据底层技术软件研发,针对企业组建物联网大数据平台时所遇到的数据体量大、采样频率高、数据乱序到达、分析需求多、存储与运维成本高等多种问题,为企业提供海量时序数据管理的高效解决方案。目前,其物联网原生时序数据库管理系统已在国家电网、国家气象局、中航成飞、中核集团、中国中车、长安汽车、金风科技等企业广泛应用。


返回网站首页

本文评论
瑞幸活了,但把咖啡市场往死里卷_瑞幸咖啡活过来了
声明:本文来自微信公众号“商业数据派”(ID:business-data),作者:黄小艺,授权转载发布。这个冬天,咖啡市场有点热。高傲如星爸爸,近期也开始在抖音、饿了么、美团等平台打起价格战,...
日期:11-27
Q1全球智能机出货量三星超越苹果拿下第一,国产OPPO跻身第四_全球智能手机销量第一
知名市场调研机构“Counterpoint”最近公布了Q1全球智能手机出货量排名榜,官方用了平板形状条形图直观地呈现出比赛的结果,从榜单来看三星以22%的绝对优势夺冠,但依旧没能狂甩“...
日期:07-12
余承东:华为必须造车 是和车企一起造最好的车_华为造车合作企业
关于华为造车的话题,从去年至今,已经迭代过了多个版本,虽然华为一直强调不造车,但负责智能汽车解决方案BU CEO余承东,却多次公开表示华为造车”。5月27日上午,AITO举行问界第10万...
日期:05-27
主播通过直播打赏洗钱 多人被抓 涉案金额庞大_直播洗钱套路
2022年6月,上海警方在一起集资诈骗案调查中发现,犯罪分子非法筹集的资金被用于充值打赏某直播平台的主播,金额近1亿元。红魔手机7pro什么时候出经调查,策划集资诈骗的犯罪嫌疑人...
日期:05-17
卖手机壁纸,也能赚钱!_卖手机壁纸,也能赚钱是真的吗
声明:本文来自于微信公众号 十里村(ID:shilipxl),作者:村长住在十里村,授权转载发布。各位村民好,我是村长。一直和各位强调,围绕图片的生意,大有可为!不管是PS婚纱照、给别人修改...
日期:12-12
十年一个轮回 中国互联网企业再次扎堆儿上市(十年后的互联网)
  今天上午记者获悉,人人网于今天向美国证监会递交了上市申请,计划融资6.4亿美元。今年以来,当当网和奇虎360公司两家公司已经成功登陆美国股市,另外还有三家证实递交了上市...
日期:07-27
“.手机”域名筑牢网络根基,助推企业数字化转型「域名科技」
由中国互联网协会主办,北京经济技术开发区管委会、北京市通信管理局、工业和信息化部新闻宣传中心联合主办, 以“促进数实融合 赋能千行百业”为主题的2023(第二十二届)中国互联...
日期:07-21
ios vision「苹果 Vision Pro 特性挖掘:可将任意表面变为触控屏幕」
IT之家 6 月 24 日消息,开发者深入挖掘 visionOS 1 Beta 更新之后,发现可以通过创建控件和屏幕,可以让任意表面成为支持触控操作的屏幕。开发人员 Steve Troughton Smith 表示,...
日期:06-24
CPU也能战未来 AMD锐龙线程撕裂者3年后性能提升15%_锐龙线程撕裂者1920x
游戏玩家都知道一个梗A卡战未来,说的是AMD显卡在发布之后不断优化,性能要比发售之前提升的事,现在AMD的CPU也可以战未来了,锐龙线程撕裂者3990X被发现在3年之后性能提升15%。Pho...
日期:02-09
Facebook在哪里上市_Facebook收购仅成立9个月的移动广告创业公司Rel8tion
  北京时间1月26日消息,Facebook今天宣布收购仅仅成立9个月的移动广告创业公司Rel8tion,后者的所有雇员将加入这家社交网络巨头。   Facebook在一份声明中称:“我们十分激...
日期:07-26
超级sim卡和sim卡「消息称多家上市公司已和国内运营商开展超级 SIM 卡业务合作」
通信世界网消息(CWW)7月12日,据第一财经报道,记者今日以投资身份致电多家 SIM 卡相关概念股,多家公司表示已和运营商开展超级 SIM 卡业务合作。其中,恒宝股份证券部表示,目前超级 S...
日期:07-13
飞信停航 运营商不舍社交赛道
来源:北京商报   横跨PC和移动互联网的飞信,只是令人唏嘘的社交产品之一。中国移动近日宣布和飞信(前身为飞信)将从2022年9月30日起停止提供服务。2007年上线的飞信,背靠中国移...
日期:07-31
美FTC阻止微软完成收购动视暴雪 该交易案达690亿美元
美联社报道,美国联邦贸易委员会(FTC)6月12日向旧金山联邦法院提交了文件,要求法院颁发一项临时限制令和禁令,以阻止微软以690亿美元的价格收购动视暴雪。微软与动视暴雪签订的合...
日期:06-13
坚果N1S Pro 4K正式上市,核心画质全面升级,不止亮度还有4K「坚果v10 ansi」
(原标题:坚果N1S Pro 4K正式上市,核心画质全面升级,不止亮度还有4K) 任何新科技的崛起,都是踩着旧技术上位的,三色激光亦是如此。根...
日期:09-11
facbook市值_分析称Facbook5估值百亿美元实为泡沫
  日前,老牌投行高盛抛出:Facebook估值高达500亿美元。尽管这个拥有十个零的百亿美元“天价”对于互联网领域来说并不骇人听闻,不过,对于一家成立仅6年,外界对其盈利模式仍捉...
日期:07-25
oppor find3「6799元起!OPPO Find N3 Flip今日正式开售」
OPPO Find N3 Flip今日10:00正式开售,售价分别为12GB 256GB的6799元和12GB 512GB的7599元。该款手机共有月光缪斯、薄雾玫瑰、镜中之夜三款配色,延续了OPPO家族的设计风格,但采...
日期:09-08
中国网络电视台启动上市程序 将于近期挂牌_中国网络电视台开播
  1月4日上午消息,据香港媒体报道,央视国际网络有限公司总经理汪文斌日前表示,公司股份改造进展顺利,新股份公司将于近期挂牌,下一步将引进战略投资者,启动上市融资相关程序。...
日期:07-25
智能电视下载什么视频软件好_智能电视下载什么软件比较好?当贝市场分享装机必备
  随着科技的进步,越来越多家庭选择了智能电视,大屏娱乐时代也将正式到来。而与传统电视相比,智能电视最大的特点在于能够根据自身需求来下载好玩的应用。今天小编就给大...
日期:07-14
研究机构警告:人工智能的兴起只会让科技巨头变得更强大_人工智能蓬勃发展
4月26日消息,高昂的人工智能技术开发成本,致使许多初创公司需要依赖微软或亚马逊等大型科技公司的云平台来开发相应产品。研究组织AI Now表示,这种状况只会让大型科技公司越发...
日期:04-26
腾讯向股东派发9.58亿股美团股票,腾讯总裁刘炽平卸任美团董事「马化腾持有美团多少股份」
2022年11月16日消息,腾讯控股公告显示,将按合资格股东持有每10股股份获发1股美团B类普通股的基准,向于记录日期名列本公司股东名册上股东按彼等当时各自于本公司之持股比例,以实...
日期:11-23