文/盛佳莹

(资料图片)

随着数据应用需求不断深化，大数据平台架构持续演进，湖仓一体作为新的技术范式受到了高度关注，2020年，湖仓一体概念一经提出便成为大数据平台的主流架构。

两年时间过去，中国湖仓一体平台软件市场发展迅速，涌现出一批代表厂商，越来越多的企业也将湖仓一体视作数字化转型的重要基础设施。

近日，爱分析发布了《2022年中国湖仓一体平台市场研究报告》（以下简称报告），从多角度对湖仓一体平台市场进行了深度剖析，详细梳理了湖仓一体平台的实现路线，研究分析了湖仓一体平台市场规模以及产业落地。

代表更先进技术能力的湖仓一体将迎来高速发展期，据报告测算，未来三年湖仓一体市场复合增长率达 86%，预计 2025 年国内市场规模将达到近 100 亿元。随着技术发展的不断成熟，中国湖仓一体市场格局初显，各大厂商群雄逐鹿，场面火热。在《2022年中国湖仓一体平台市场研究报告》中可以看到，在早期就布局湖仓一体技术的新锐企业科杰科技以11.1%的市场占有率排名第一。

事实上，湖仓一体的崛起绝非偶然，而是顺应了大型组织数字化转型的发展趋势。

过去，在不同的历史阶段，行业采用数据仓库和数据湖架构。但随着时代发展，企业的数据量级持续扩展，数据类型多元化，以及数字化转型深入企业数据应用场景变得日益复杂。

这要求企业使用一套可以实现海量异构数据的低成本存储和高效分析的架构。

而湖仓一体可以实现海量异构数据的统一存储、计算、开发、管理和服务，支持多种高级分析引擎，为企业打破数据孤岛、提高数据应用价值。

目前行业内主要有两条技术路径来实现湖仓一体。

一是湖上建仓，即多源异构数据先统一ETL至数据湖中进行集成、存储，再被ETL到数据仓库中，支持数据分析；同时也支持数据科学、数据挖掘、机器学习、深度学习等多种计算分析引擎访问。但湖上建仓没有完全解决数据一致性、数据冗余等问题，没有真正实现数据统一管理，而且从数据湖ETL数据到数据仓库的形式，也带来了ETL的复杂性。

第二种路径是湖仓融合。将数据湖多类型数据低成本存储优势与数据仓库高效分析能力融合，通过事务层实现元数据统一，彻底消除数据孤岛、数据冗余，以一套数据实时、准确地支持多种工作负载，加速数据共享流动和价值挖掘。

湖仓融合架构能够很好的支持存算分离和批流一体实现，针对企业目前存在多架构混合现状，能够实现多架构的统一纳管和数据资产的统一管理。

在数字化转型时代，湖仓融合无疑更能有效满足企业对多元应用场景的复杂需求，也是如今湖仓一体架构的主流技术路线。

究其原因，科杰科技能够在湖仓一体市场拔得头筹离不开其选择的技术路径，更源于企业保持专注且善于做减法，科杰科技致力于提供复杂场景下大数据基础软件产品服务，其核心产品湖仓一体数据智能平台 KeenData Lakehouse是基于云原生技术自主研发的数据底座产品，提供端到端的一站式大数据基础软件解决方案，帮助企业实现IT到DT的转型。产品应用了包括Data Fabric、Active Metadata Management、Data Mesh等在内的多项领先技术，融合了DataOps和Observability理念，将数据开发IDE化、流程化、协作化和自动化，同时产品工程化能力和治理能力相融合的设计能极大降低IT技术人员和半IT技术人员工程的难度，提高企业自治理能力。

值得一提的是科杰科技始终对技术的持续精进，将创新技术投入体现在其产品的完善程度和服务的每一个客户中，科杰科技湖仓一体数据智能平台KeenData Lakehouse在服务某世界500强综合零售客户中与海外知名厂商同台竞技，最终KeenData Lakehouse在技术性能、功能、稳定性的测试中胜出，获得海外客户认可并赢得项目。

国内湖仓一体厂商，相较国外企业的垂直技术能力，平台属性更明显。但不同在厂商在实现湖仓一体的路径和行业布局上有较明显区别。科杰科技在实现湖仓一体路径上采用湖仓融合的技术架构：

科杰科技湖仓一体数据智能平台KeenData Lakehouse技术架构图 图片来源：爱分析

一方面，可以面向上游兼容纳管数据库、数据仓库、数据湖等多源异构系统；另一方面，面向下游提供完善的基础平台能力，如基于DataOps理念的数据工程体系支持数据低代码开发；数据治理与数据工程融合可实现主动元数据探查、基于AI增强的数据血缘分析等主动实时的数据治理；以及基于数据虚拟化提供智能指标、智能标签等数据业务表达能力。

湖仓一体在步入创新深化期被广泛应用于多个行业。目前，科杰科技的服务范围辐射国内以及亚太地区，覆盖金融、工业、能源、汽车、零售等众多行业头部客户，如中国联通、中国石化、中国一汽、国家电网、吉利汽车、中金公司、永旺集团等公司。

新兴技术的发展正在加速数字中国构建，数字经济与实体深度融合成为诸多行业必行之路。

基于湖仓一体平台软件构建的数据底座正在成为越来越多的大型企业夯实数据根基的选择。当下，一些优质的企业已经形成了市场规模和示范效应，当一个行业从野蛮成长、跑马圈地的阶段向上发展为逐渐清晰的产业格局，谁会成为下一个独角兽？我们拭目以待！