腾讯发布自研第四代数智融合计算平台“腾讯大数据

2021-04-19 09:36:00 来源:通信世界

4月18日,在 “腾讯大数据高峰论坛”上,腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”,该平台以最新的“数据协同、技术互通、平台大脑”技术理念为基础,在确保数据安全这一重要前提下,真正实现万亿级数据分析无人“自动驾驶”,进而推动大数据和人工智能技术融合为一,引领全球大数据计算进入下一时代。

1618751582163008702.png

图说:腾讯发布自研第四代数智融合计算平台“腾讯大数据-天工”

中国科学院院士梅宏、中国信息通信研究院云计算与大数据研究所副所长魏凯、埃森哲战略与咨询董事总经理袁虹、腾讯数据平台部总经理蒋杰、英特尔大数据首席工程师程从超、腾讯数据平台部副总经理刘煜宏、腾讯数据平台部AI平台总监陶阳宇等国内大数据领域领军人物做了演讲。会上,中国民生银行廖鹏、中国电力科学研究院张玉天、中国电信云计算分公司温森茂、腾讯聂晶及陈鹏就隐私计算的机遇与挑战展开了圆桌对话。

蒋杰在会上表示:“作为新型基础设施的重要组成部分,大数据产业将迎来发展的新阶段。此次发布的第四代数智融合计算平台,将以安全的方式打通数据孤岛,桥接多方数据,以统一的数据处理引擎更高效地挖掘数据价值,以智能化的方式驱动整个数据处理闭环,为开发者、企业、以及政府的数字化、智能化升级打下坚实基础。”

安全,自研隐私计算技术领冠全球

为打破数据孤岛实现数据协同,数据安全是重中之重。“腾讯大数据-天工”采用自研隐私计算技术,从机器学习到大数据分析为各个场景提供全方位保护,去中心化的架构则能避免单点隐私泄露风险。目前,“腾讯大数据-天工”可以支持千亿级规模的海量数据训练,性能参数领先业界5倍,在此基础上,提供3072bit业界最高强度加密和TEE硬件双保险,最大限度确保数据安全。

凭借该技术,腾讯大数据相关团队获得iDash 2020世界隐私计算大赛冠军,安全性能领冠全球。据了解,金融级安全强度的腾讯隐私计算技术已广泛应用在医疗、金融风控、数字政务等众多领域。

智能,万亿级数据分析将实现“自动驾驶”

从离线计算、实时计算再到机器学习,大数据智能化是第四代数智融合计算平台规划的必由之路,腾讯正在构建平台大脑,推动万亿级大数据分析逐步实现“自动驾驶”。从快速发现大数据运行问题到主动发现问题,再到主动解决问题,平台大脑预计可让数据中心研发效率提升60%,运营效率提升50%,平台服务质量提升80%。

统一,大数据和人工智能融为一体

大数据智能化趋势日渐明晰,大数据和人工智能技术的融合也在不断加速各行业的数字化升级。鉴于二者本质技术类似,“腾讯大数据-天工”平台通过解决大数据和人工智能计算框架的统一,从而更好地适配CPU、GPU、NPU、FPGA等硬件。包括通过构建大数据、AI基础算子,统一元数据用于执行优化,统一批、流、图计算形态来统一计算引擎,并及时编译,代码生成适配异构硬件。

十年深耕,“腾讯大数据-天工”引领全球大数据浪潮

蒋杰表示,腾讯自身即拥有海量的数据规模,目前腾讯大数据平台日接入消息量超过55万亿,日实时计算量超过65万亿,平台整体算力超过500万核,日分析任务达到1500万,腾讯云已经成为国内算力最强的云厂商,同时也是日实时计算量最大的公司。

1618751582127062660.png

自2009年开始,腾讯就开始深耕海量大数据处理领域,其第一代大数据平台依托Hadoop生态,围绕离线计算模式化构建出能够稳定支撑小时/天级别的计算任务数据处理平台,该平台在2016年取得世界排序冠军佳绩;2012年前后,腾讯第二代大数据平台通过引入Spark、Storm等实时计算处理框架,让大数据平台处理性能迈入毫秒级别,当时便已跻身国内实时计算量规模第一宝座。

2015年,腾讯第三代大数据平台朝着机器学习发展,其自研机器学习框架Angel成为国内第一个从Linux基金会毕业的顶级AI项目,并推动国内大数据处理正式进入机器学习时代。从2020年开始着手规划的第四代数智融合计算平台“腾讯大数据-天工”,无疑将持续引领全球大数据计算走上安全、统一、智能的新征程。

值得一提的是,为更好地探索数字时代中发展和安全的平衡点,腾讯在此次峰会上也重磅发布《腾讯隐私计算白皮书》。白皮书由腾讯研究院联合公司内部多部门共同撰写,从隐私计算发展背景、技术体系、重点应用行业和场景、数据安全合规、未来发展前景等多角度全方位探索隐私计算,通过与业界凝聚共识,共同推动隐私计算技术的发展。

会上,腾讯大数据与中国信息通信研究院云计算与大数据研究所签署战略合作协议,将就技术创新及标准制定、测评认证及应用示范以及联合实验室筹建等展开深度合作。