在用 TOPO DataHub · 企业数据中台
TOPO 数据中心: 各个系统的数据,汇进一个数据湖。
文字稿
- 您的数据分散在好几套系统里:自家服务器上的 ERP,还有云端的一套系统。
- 我们把它们汇进同一个云端数据湖。
- 进了数据湖,数据要过三层:原始层、语义层,最后是共用的总视图。
- 本地的 ERP,每天早上七点左右全部刷新完。
- 我们做的看板、CRM 和报表,都从总视图里取数据。
- 指标在数据湖里统一定义,不在每张报表里各算各的。
- 云端系统每小时更新一次;当天的销售,一天更新好几次。
- 还有一个健康检查脚本,覆盖每一个数据源,哪里晚了、缺了,都会标出来。
- 接入一个新数据源时,我们补进了 778 天的历史数据,没有一次加载失败。
- 这套数据湖已在我们服务的配送商那里投入生产。我们的工程师也能在您的系统上搭一套。
怎么运作
四步:从您现在用的系统,到团队每天看的看板。
只读接入
同步您的 ERP 和其他数据库,接收系统导出的文件,再用您自己的账号定时采集网页数据。不往源系统写回任何东西。
一个数据湖
所有数据汇进一个数据湖,分三层:各系统原样送来的原始层,统一清洗和命名的一层,再加一个共用的总视图。指标在数据湖里统一定义,不在每张报表里各算各的。
保持最新,随时核查
按计划同步,从每隔几分钟到每天一次。一个健康检查脚本覆盖每一个数据源,哪个源落后了、哪天的数缺了,都会标出来。
上面是看板和问答
KPI 看板、管理层报表、TOPO CRM,以及 TOPO 问数这类 AI agent(智能体),读的都是同一个数据湖。
都有些什么
我们为您搭建、接入并负责运行的部分。
ERP 和数据库同步
本地 ERP 数据库和一套云端系统汇入同一个云端数据仓库:本地 ERP 早上七点左右全部刷新完,在手订单每小时更新,云端数据源每小时更新,当日销售一天多次增量。
在用文件同步
各系统的导出按计划落成文件,每个数据源都有一份当前文件和按日期留存的历史,再装进数据湖,或者同步到您团队已经在用的共享文件夹和表格。
已交付网页数据采集
一支现场经验丰富的专业团队,按计划采集网页数据:既有公开网站,也有只能经您的 VPN 访问的内网和门户,用您自己的账号,只读。没有 API 的系统也能采,每次运行都有日志。
已交付系统再分散,也汇成一个数据湖
第三方系统再多、再分散,数据也以只读方式汇进同一个数据湖,在一处统一管理:原始、语义、总视图三层,指标在数据湖里统一定义,不在每张报表里各算各的。
在用监控和日常数据运营
一个健康检查脚本覆盖每一个数据源:哪个源落后了、哪天缺数、每小时的加载有没有迟到。数据新鲜度检查可以在某张表迟到时发邮件给您的团队;每次采集运行都有日志。
已交付上面是 KPI 看板
全公司一套数的管理层报表;建在您团队已经在用的办公软件里的运营 KPI 看板,每个看板谁能看在一处统一管理;还有外勤销售用的 TOPO CRM。
已交付新建数据中心,也改造现有数据库
我们新建数据中心,也改造现有的数据库;给已经在跑的数据中心接入新的数据源时,历史数据一起补齐。
历史数据,完整补齐
的历史数据,在给共用数据仓库接入一个新的源系统时补齐,0 次加载失败
2024 年 7 月 1 日至 2026 年 8 月 17 日,一个源系统。
常见问题
会改动我们现有的系统吗?
不会。我们只读取:数据库用只读权限同步,文件用系统本来就会导出的那些,网页数据用您自己的账号采集。不往源系统写回任何东西。
系统没有 API 怎么办?
我们按计划从您团队已经在用的界面和门户上采集数据,用您自己的账号,只读,也包括只能经 VPN 访问的内网和门户。每次运行都有日志。
能在我们现有的数据库基础上做吗?
可以。我们新建数据中心,也改造现有的数据库;新的数据源可以接进已经在跑的数据中心,历史数据一起补齐。
谁来读这个数据湖?
您的 KPI 看板和报表、外勤销售用的 TOPO CRM,以及 TOPO 问数这类 AI agent(智能体):它自己写查询,以只读方式在数据湖里执行,再在您团队的 WhatsApp 群里回答。
怎么知道数据到了没有?
一个健康检查脚本覆盖每一个数据源,哪个源落后了、哪天缺数、每小时的加载有没有迟到,都会标出来。数据新鲜度检查可以在某张表迟到时发邮件给您的团队,每个采集程序的每次运行都有日志。
数据承诺
放在您的服务器或云账号上
默认部署在您自己的服务器或云账号上,也可以由我们托管。
不拿您的数据训练模型
为您部署时,我们用付费的 AI 服务,服务条款写明不拿您的数据训练模型。单据必须留在公司内部时,AI 就跑在您现场的 GPU 服务器上。
分库存放,签保密协议
每家合作企业单独一个数据库或项目,并签署保密协议。
全部交接
项目结束后,我们为您做的代码和数据,可以全部交接给您。
其他 TOPO 产品
从您现在用的系统说起
告诉我们您的数字现在都在哪些系统里,包括没有 API 的那些。我们给您演示它们怎样汇进一个数据湖,以及您的团队在上面会看到什么。