由于云和beplay体育注册登录 技术,很多曾经的部署配置问题都不再是一个问题。
数据工程:一大难题
另外一个仍未消失的难题是:如何处理这些传感器收集到的数据。这个问题不仅仅是由于数据的数量,而是在于数据分析是一门多学科交叉的科学。
这里,我们给出了一个数据流动的初始想法。大部分情况下,beplay体育注册登录 数据是从传感器流向一个巨大的数据湖。接着,数据湖内会进行一些处理及蒸馏过程,高价值的数据会被移动到企业数据库内。
下一个步骤则是数据分离及结合步骤,这样,可以实现自动化动作和分析模型。另外,每个不同beplay体育注册登录 应用可能需要使用不同类型的数据分析引擎。
和单向数据流的数据仓库不同的是,应用程序,尤其是分析引擎也有可能产生数据流动并流回到企业数据仓库或者数据湖中。
另外,beplay体育注册登录 的数据架构也有不同的新特性:
1):beplay体育注册登录 数据实时处理的需求
2):数据湖存档或删改的需求
3):跨公司分享数据的需求
4):多数量、种类来源数据处理的需求
5):遍布世界的数据处理需求
6):大量移动数据的需求