查看: 48|回复: 0
收起左侧

大数据技术-ETL数据抽取

[复制链接]

升级   100%

  • TA的每日心情
    慵懒
    6 小时前
  • 签到天数: 66 天

    连续签到: 3 天

    [LV.6]常住居民II

    91

    主题

    168

    帖子

    1341

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    1341
    发表于 2021-1-3 18:03:18 | 显示全部楼层 |阅读模式

    马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    先声明原文:https://www.renfei.net/posts/1003431
    然后再谈我的感受。


    ETL在数据仓库中有非常重要的角色,其中的难点可能就是数据质量参差不齐,这就需要使用很多种方案去解决,我觉得最重要还是尽量少侵入源数据系统,哪怕镜像一份出来也行,一旦大规模操作源数据系统,可能会导致业务系统瘫痪。


    不过好在大数据项目ETL的时候一般不会要求实时同步,可以离线处理,那我们就设计好数据窗口,一点一点的处理。


    我还在学习中,如果您还有更好的方案,欢迎提出来一起讨论。
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|手机版|Status| FEI软件技术社区 ( 冀ICP备12003293号-9 )

    GMT+8, 2021-3-6 18:57 , Processed in 0.189912 second(s), 25 queries .

    Powered by Discuz!

    Copyright © 2001-2020, Tencent Cloud.

    Copyright © 2021 RENFEI.NET All rights reserved.
    快速回复 返回顶部 返回列表