处理复杂的数据集成,你还在编写脚本吗?
数据并不单独存在于一个数据库、文件系统、数据湖或存储库中。在记录系统中创建的数据必须满足多种业务需求,与其他数据源相集成,然后才能在分析、面向客户的应用程序或内部工作流中使用。处理例子包括:
来自电子商务应用程序的数据与用户分析、客户关系管理 (CRM) 系统中的客户数据或其他主数据源相集成,以建立客户细分并定制营销信息。物联网 (IoT) 传感器数据与运营和财务数据复杂存储相关联,用于控制吞吐量和报告制造过程的质量。员工工作流应用程序把跨多个软件即服务 (SaaS) 平台和内部数据源的数据和工具连接到一个易于使用的移动界面中。许多企业还拥有数据科学家的数、数据分析师和创新团队,他们越来越需要整合内部和外部数据源。开发预测模型的数据科学家通常会加载多个外部数据源,例如计量经济学、天气、人口普查和其他公共数据,然后将它们与内部数据源混据集合。进行人工智能试验的创新团队需要聚合大量且通常很复杂的数据源来训练和测试他们的算法。曾经在电子表格中执行分析的业务和数据分析师现在可能需要更复杂的工具来加载、加入和处理多个数据供成,给。
用编程和脚本处理数据集成对于任何具有基本编程技能的人来说,将数据从源移动到目的地的最常见方法就是开发一个简短的脚本。代码从一个或多个源中提取数据,执行任何必要的数据验证和操作,并将你还其推送到一个或多个目标。
开发人员可以使用多种方法对点对点的数据集成进行编码,例如:
将数据变化推送到其他数据库系统的数据库存储过程作为预定工作或服务来运行的脚本当应用程序的最终用户更在编改数据时向服务发出警报的webhook连接系统间数据的微服务部署到无服务器架构的小型数据处理代码片段这些编码过程可以从多个源中提取数据,在将数据传送到目标数据源之前加入、筛选、清理写脚、验证和转换数据。
编写脚本可能是一种快速简便的数据移动方法,但它并不算是专业级的数据处理方法。生产级数据处理脚本需要自动执行处理和传输数据以及处理多个操作所需的步骤步骤。
例如,处理大量本吗数据的集成应该是多线程的,并且对有许多数据源的工作也需要可靠的数据验证和异常处理。如果需要有效的业务逻辑和数据转换,开发人员应该记录这些步骤或采取其他措施来确保这些集成是可以被观察到处理的。
支持这些操作需求的脚本编程并非易事。它要求开发人员预测数据集成可能出现的问题,并相应地进行编程。此外,在使用很多实验数据源时,开发自定义脚本可能并不划算。所以最后,数据集成脚本通常难复杂以在多个开发人员之间进行知识转移和维护。
出于这些原因,许多有数据集成需求的企业通常会寻找编程和编写数据流脚本之外的方法。
作者:Isaac Sacolick是StarCIO的总裁,也的数是亚马逊畅销书《推动数字化:通过技术实现业务转型的领导者指南》的作者。Sacolick是公认的顶级社交CIO和数字化转型影响者。他在InfoWorld.com、CIO.com、他的博据集客Social、Agile和Transformation以及其他网站上发表了700多篇文章。
原文网址:https://www.infoworld.com/article/3621992成,/why-you-need-a-data-integration-platform.html
- ·OpenAI CEO阿尔特曼:对上市后继续担任CEO持保留态度
- ·云原生 PostgreSQL 集群 - PGO:五分钟快速上手
- ·启元世界宣布完成3亿元人民币A轮融资
- ·标签: 远景科技 张雷 可再生能源 能源转型
- ·标签: 威马汽车 小威随行 蓝牙车控 远程车控
- ·标签: Sunday Robotics Tesla Optimus Memo
- ·OpenAI正式推出GPT-5.5 每兆瓦输出提升50倍
- ·云安全日报210604:IBM应用服务器发现执行任意代码漏洞,需要尽快升级
- ·标签: 台积电 罗唯仁 英特尔 陈立武
- ·标签: 华境汽车
- ·Figma AI设计革命来袭!选中画布一键评论,即刻变身专业编辑器
- ·上海交大发布 MobiAgent:人人都能拥有自己的 AI 助手,超越 GPT-5!
- ·Facebook发起新一轮广告造势:侧面抨击苹果隐私政策
- ·标签: 工信部 抖音 微信 AI拜年
- ·云计算开发:Python练习实例-打印出所有的"水仙花数"
- ·ChatGPT 上线 “立即购买” 功能,让购物更便捷!
- ·Anthropic确认Claude模型质量下降问题 已修复
- ·标签: 英伟达 礼来 Vera Rubin Grace Blackwell
- ·Google 发布 Deep Research 智能体:深层调研进入“自动驾驶”时代
- ·标签: 中国电信 星辰大模型 Token套餐 天翼AI云电脑
- ·暖心黑科技!谷歌地图上能寻找已故亲人
- ·标签: 特斯拉 马斯克 特斯拉狙击 拒绝万亿富豪
- ·标签: 汽水音乐 AI 音乐
- ·标签: 英伟达 OpenClaw 黄仁勋 Vera Rubin
- ·Kubernetes的来龙去脉与运行流程
- ·谷歌 AI 研究推出 DeepSomatic:新型癌细胞基因变异识别模型
- ·标签: 无界动力 具身智能机器人 红杉中国 深创投
- ·云计算核心技术Docker教程:配置Docker守护进程
- ·聊聊为什么 IDL 只能扩展字段而非修改
- ·标签: 抖音电商 兴趣产业带 非遗商品 永康铁锅
- ·OpenAI CEO奥尔特曼抨击 Anthropic:深陷“恐慌式营销”泥潭
- ·前小米全球副总裁雨果·巴拉宣布从Facebook离职
- ·苹果CEO蒂姆·库克:将与更多AI公司合作,强化Siri与操作系统的人工智能能力
- ·百度小度 AI 眼镜将于百度世界2025大会正式发布,年内开售
- ·苹果CEO库克:在中国达成2千兆瓦清洁能源目标
- ·郭明錤:苹果 iPhone 13/A15 将恢复正常周期
