2023 年 8 月 16 日，爱分析成功举办第五届数据智能高峰论坛，本次活动邀请到了科杰科技创始人兼 CEO 于洋进行了《筑牢大数据底座，赋能高质量发展》主题演讲。于洋总在会上的演讲围绕大型企业数据能力建设展开，分享了企业数据能力建设的背景、方法论以及科杰产品体系，并结合案例阐述了科杰数据底座对企业数据能力建设的支撑，现将现场演讲实录整理后分享如下。于洋：大家好，我是科杰科技创始人兼 CEO 于洋。很荣幸参加爱分析第五届数据智能高峰论坛，数据智能这个词将 Data 和 AI 连接在一起，也把数字化的主要目的进行了表达，那就是在各业务场景终端以数据驱动和数据自动化实现全场景的提效和创新，最终实现数字化转型。今天峰会的主题是“激活数据资产，释放数据价值”，这也跟科杰科技做的事情高度相关。今天我的演讲主题是“筑牢大数据底座，赋能高质量发展”。从产业角度来看，数据技术已经成为新一代信息科技中服务数字经济的核心引擎，并且有国家关于数字中国、数据要素等相关政策的积极推动。从市场角度来看，在众多甲方客户发起的并由乙方公司承接的项目中，涉及到数据治理、数据交换、低代码开发、实时离线计算以及 AutoML 数据科学平台。企业在数据方面开展了各式各样的项目，但究竟企业想要构建一个什么样的体系？或者说，在未来五到十年里，一个超过几十万人的大型组织应该构建一个什么样的体系，是我们应该去思考和关注的问题。对此，数字中国建设整体框架中给出了相应的指引。我们看到，在数字基础设施之上，在应用层全场景发挥数据智能价值之下，中间数据资产管理体系的建设显得尤为重要。在金融行业，《金融科技发展规划（2022-2025 年）》中，八个方面重点任务的第二和第三项任务中，也强调了数据资源管理和数据能力。早在 2019 年，科杰科技就提出了“数据能力”这一概念，我们将其定义为基于存储计算引擎、数据资产管理、低代码开发构建起来的一套体系化数据能力。可供大中型组织面向未来 5 年到 10 年持续使用，支撑企业规模化数据应用和数据智能。科杰科技作为大数据基础软件的提供商、数据能力的构建商，致力于协助大型组织持续构建数据能力。需要强调的是，这种能力不是一蹴而就的，需要在不同的阶段、不同能力方面持续做长期、立体化的构建。KeenData Lakehouse 核心能力
科杰科技的产品体系分了三层，最底层是数据引擎层面，提供存储计算引擎等基础设施支持。第二层是提供低代码开发、数据工程能力建设，企业若要建立规模化的数据应用，让广泛的技术人员和业务人员使用数据，就需要建立低代码开发能力。最上层则是基于数据和数据资赋能业务服务和释放的能力。这三个层面共同构建了数据能力里体系。KeenData Lakehosue 作为引擎，在技术能力方面应具备的三大特点。第一是存算分离能力，需要兼容之前的 Data Warehouse 和 Data Lake ，并且支持国资云、混合云和第三方数据进行纳管，这将是面向未来 5 年到 10 年可持续使用、不更换底座、的基础。第二个能力就是 ACID 和事务性，若想实现国产化替代，就需要具备 ACID 和事务性这样的基础能力。第三个能力就是批流一体，随着数字化建设趋势的不断发展，金融行业已经处于实时计算的建设阶段。然而，在当前的技术框架中，我们无需将其分成两个不同的平台去构建，而应该在一个统一的体系下完成。通过实现数据开放和赋能，以及使用 Data Fabric 技术，我们可以使业务团队通过数据虚拟化和表达，更好地理解和利用数据。当然，这里的 Data fabric 不是单纯的数据编织虚拟化，在业务端，Data Fabric 需要跟后端的低代码能力和路由计算能力打通，以实现对全链条的支撑。这是一套一站式的框架和体系，建设的目标不是一次性建设一个非常庞大的应用，而是应该在一个逻辑和架构下逐步去建设，以达到全局最优和统一协作。最终建立起 DataOps 数据研发运营一体化能力，向整体的组织释放数据价值，实现数字化转型。科杰在行业中也获得了较高认可和荣誉，包括在中国湖仓一体平台软件市场份额中位列第一，在 2022 年中国大数据平台私有化部署市场中排名第五，也通过了信通院首批云原生数据湖、云原生湖仓一体评测，同时也是国产信创工委会会员单位、是大数据技术标准委员会单位，在 DataOps 和 EDMM 的数智成熟度模型中参与制定标准，同时是专家单位，此外，科杰科技也获得了 Gartner、IDC、爱分析等相关报告的推荐。企业数据能力建设方法论
数据底座作为一个提供技术能力支撑的软件体系，解决的不单单是技术的问题，更是要解决一个大型组织企业面向未来 5 年、 10 年持续推进数字化转型过程中需要承载的新能力，我们把它定义成数据能力。数据能力在数字化时代就像供应链能力、财务能力或者人力资源能力一样，是一个企业必须建设能力。科杰科技梳理了企业数据能力建设的方法论，由以下五个方面组成。第一是多架构融合的湖仓一体引擎。它解决了未来五年到十年数据引擎的持续的存储计算问题，并且面向过去的 Data Lake 和 Data Warehouse 进行了纳管。第二是数据工程的构建。我们知道，在 IT 能力中已经建立起比较成熟的的软件工程体系，对于项目的需求拆解、定义、开发、测试、发布和重构都有相应的管理体系。但是当前和未来十年的工作是以数据驱动和实现全场景数据智能为主要目标，因此，如何让几十、几百人的技术团队和业务团队以及半业务半 IT 的人员能去开展数据类的分析和开发工作，就成了一个关键问题。为此，我们需要将整个数据的处理过程实现工程化连接，包括数据低代码开发、管理方法和流程自动化等方面的数据工程化能力。第三个方面是数据自治理。在数字化比较领先的企业中，数据治理已经做了很多年，通常是以咨询公司为主导，以安全管制为目标进行梳理和制定规范。然而随着数字化转型的不断推进发展，数据治理与互联网的相越来越相似。一方面，数据的生产端，不像以往人财物等类 ERP 系统稳定性较高，两三年不变化，现在大量线上线下联动的系统正在产生新的大量数据，并且系统还在高速变化。另一方面，在数据的消费端，尤其甲方客户的应用层中，有诸多消费场景，如分析报告和数据智能应用。在数据生产端、消费端两端都在剧烈变化的情况下，数据治理业应该由之前被动的、滞后的转向实时的、主动的。数据主动治理包括主动元数据的探查、管道控制、管道连接、基于 AI 能力的数据起源分析，能打通全链条，是一种保证数据是一个主动的、实时的、有一定自修复能力的管理办法。第四个方面是集中式管控分散式赋能的服务体系。一个大型组织建立数据底座和数据中台后，是要服务各分公司、各 BU、BG单位，实现全局数据赋能。在这种情况下，我们认为协作模式应该采用集中式管制和分散式赋能的服务体系。对于构建数据底座项目我们认为一定要采用集中化的建设，因为企业需要在基础设施的投入，在数据工程体系的建立，在全局数据资产的管理、数据价值的实现和数据安全方面进行集中式管制。与此同时，我们知道所有业务价值的发挥一定是各业务单位在业务场景上的实现。那么如何将数据价值分散式赋能给业务是一个核心的话题。以科杰过去的经验，释放数据价值其实大致可以分成两部分，一个是基于大屏报表可视化和 BI 的能力。另外一个就是数据智能 Data Intelligence，将数据放到业务模型上跟随系统自动化调整，实现系统自动变化，最终降低人工滞后的、基于经验主义的干预。在业务场景中，数据的虚拟化和数据资产的赋能的过程很重要，是我们解决底座、数据价值和业务场景连接的挑战。第五是打造数据驱动型组织。比如一个 CDO 办公室或者一个 New Idea Office 也即科技部门，整体应该建立一个怎样的服务和服务体系去开展这项工作，为此，科杰科技会提供了相应的人员、人员职能和协作规范，这些人员负责整体运营数据底座，以实现数据价值的释放。然而，需要强调的是，数据部门作为一个与业务单位协作的重要部门，要改变之前被动的、以承接需求为导向的响应方式，而是转变为一主动赋能和自主自助分析的方式。这种方式需要构建数据运营部，以 Data BP 的方式去辅导、宣贯，帮助整个组织建立数据思维。数字化转型的目标，在管理软件时代， IBM 给出的定义是软件包驱动业务变革，是将流程定义变成一套标准软件用来规范和提效。但在数字化转型的进程中，我们定义其目标是以数据驱动的业务变革和创新。整个 CDO 办公室的目标是帮助整个组织变成具备数字思维的数据驱动型的组织，以数据底座和数据赋能业务场景去实现最后的转型、创新和提效率。科杰科技 KeenData Lakehouse 支撑数据能力建设方法论落地
科杰科技 KeenData Lakehouse 数据底座产品体系能支撑以上方法论落地。整个产品体系可以分为多个部分，每一个蓝框解决了一部分的问题。我们依次可以看到，在引擎层面上，湖仓一体多架构融合能力解决了面向过去的兼容纳管和面向未来的数据引擎的这种管理和计算能力。数据工程建立起数据工程的开发管理体系。数据自治理能力将过去被动的、滞后的数据治理变成实时、主动，并且有自治理能力的数据治理，数据自治理是依托于数据工程和引擎形成的相融合的体系。完成这三个能力建设后，一个集团的大数据部门就基本上就建设成功了。这个部门有强劲的引擎，有数据开发的低代码的工具和管理办法以及有数据资产跟它相融合去配套实现数据的高可用。但是如果这个大数据部门想进一步面向更广泛的业务单位提供服务的话，就会面对行业 Know-how，以及业务的需求满足不过来的这样的问题。因此，大数据部门的功能最终一定会走向以数据的业务表达，即以 Data Fabric 的数据编织和虚拟化，去释放数据价值，让广泛的中基层人员可以快速找到数据、消费数据。Data Fabric 的实现需要由底层的低代码开发和路由计算去做支撑以实现全组织的数据消费，最终达成数据的研发运营一体化，实现整个组织的数据驱动型工作的开展。那么最后要说一下，数据底座是在 IaaS 层之上，在应用层之下，大致是一个 Pass 层，接近于 aPass 的这样一个体系。它是一个企业持续要建立的一个必需能力，不单单是一个技术工程的问题，它是一套从技术工程到管理数据再到与业务部门建立一套新的基于数据和数据需要的协作方式，最终帮助整个组织完成的数字化转型。针对数据底座，包括科杰科技在内的国内诸多厂商处在跟国际领先的科技公司站在同一起跑线上竞争，因此，我有三个观点要表达。第一点，科杰科技致力于长期陪伴，协助客户建立一套能力体系，达成数字化转型目标。第二点，希望有更多的应用层、数据治理、数据智能等方面的厂商一起协作建立立体化的方案，构建更强有力的服务支撑体系。第三点，从时代进展来看，我们当前处于新一代技术变革的阵痛和发展期。一方面 C 端和消费领域的经济形式不太好，但另一方面我们也看到国家有很强的意志通过科技创新引领新经济发展、甚至引领国际秩序。我们很幸运在这个赛道中，并将尽自己可能做更大的贡献。预祝三五年后，在大家的共同努力下，我们不但可以支撑了中国数字化转型和数字经济发展的需要，还可以与更多优秀的解决方案和能力合作，向国际的客户输出中国科技、中国软件，让中国的科技能力形成主导世界技术发展的影响力。选择科杰科技，持续合作共赢。我的分享就到这里，谢谢大家！