?宝宝们好。Cloud computing相关的技能对于做数据工作的朋友们在未来的职业发展中会越来越重要。尤其当很多企业逐渐由on-premises向cloud转移,做数据相关工作的朋友们也需要积极学习新的技能来适应市场需求。
-
? On-premise 和 cloud computing的区别
On-premise作为传统的in-house IT服务方案,企业需要自行负责搭建、管理、维护、运营IT基础建设,服务器,各类软件应用,数据库,信息安全等等。由于数据更新越来越快以及数量庞大,继续使用on-premises会增加对storage space 和computing capacity 的开销以及系统更新换代一大堆费钱费神的事。有IT部门的大企业为此操碎了心,很多小企业又负担不起这部分开销。而Cloud computing可以帮助企业处理这些繁碎的IT问题,企业只需要按需求向cloud供应商购买服务就可以了,不再需要自行搭建基础设施、维护系统、管理服务器等等。
-
☁️三种形式的服务方案
1. IaaS (infrastructure as a service)
Cloud供应商负责提供硬件设施,购买方需要自行维护运营系统和网络服务。算是购买方稍微需要独立自主一点。
2.PaaS (platform as a service)
Cloud供应方提供网络资源和运行环境,购买方只需要部署软件应用,不需要担心物理硬件和环境配置的问题。
3.SaaS (software as a service)
Cloud供应商提供全套服务,包括运行环境、网络资源、数据库、应用等等。购买方只需要使用这些服务就可以,搭建、维护、信息安全等一概不用操心。
-
❗️对于数据工作者,基本的ETL流程和analysis solution不会变,差别在于每个步骤的工具选择多样化。
以Azure为例,从data ingestion, storage, data preparation/analysis到reporting都有不同的方案可以选择, 比如Azure databricks 作为基于Apache spark的PaaS 可以进行data transformation, distributed processing, big data analytics...
-
字数有限。下期继续