更新时间:2022-10-26 14:04
开放数据处理服务(Open Data Processing Service,简称ODPS)是基于飞天分布式平台,由阿里云自主研发的海量数据离线处理服务。ODPS以RESTful API的形式提供针对PB级别数据的、实时性要求不高的批量结构化数据存储和计算能力,主要应用于数据分析与统计、数据挖掘、商业智能等领域。阿里金融、淘宝指数、数据魔方等阿里巴巴关键数据业务的离线处理作业都运行在ODPS上。
2014年7月8日,阿里巴巴集团旗下阿里云计算发布大数据产品——开放数据处理服务ODPS。据悉,ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。通过ODPS在线服务,花几百元即可分析海量数据。全球只有Google、亚马逊等少数公司掌握这种能力。
业内人士称,采用传统方案处理大规模数据,一般得耗资数千万自建数据中心,请专业技术人员维护运作。一旦数据总量超过100TB,技术挑战会非常大。能够对大量数据进行分布式处理的软件框架Hadoop开源运动降低了这一成本,不过自建一个像样的Hadoop集群,仍然需要上百万的起步资金,专业的Hadoop人才则更加稀缺。
阿里云相关负责人介绍,使用ODPS的成本和门槛很低,它采取按量收费的模式,定价0.3元/GB,即开即用,一个月内免费。根据大部分公司的数据量来测算,一般每月只需花费数百元。
据悉,在对外商用之前,阿里小贷最先将ODPS应用到商业领域,淘宝、支付宝等阿里巴巴最核心的数据业务,都运行在ODPS平台。超过36万人从阿里小贷借款,最小贷款额为1元,并能实现3分钟申请、1秒放款、0人工干预。阿里小贷每天得处理30PB数据,包括800亿个信息项,运算100多个数据模型。
在公共领域,华大基因利用ODPS进行基因测序,耗时不到传统方式的十分之一;药监部门利用ODPS,全程监管药品流向,解决假药问题。
阿里云方面表示,ODPS不仅支持更丰富的SQL语法,还将提供MapReduce编程模型和机器学习建模能力,可以服务更多应用场景。