云计算在某些方面具有现实中云的特征：云一般比较大（很大的飞机在云中飞行充分说明云更大）；云的规模可以动态伸缩，它的边界是模糊的；云在空中飘忽不定，无法也无须确定它的具体位置，但它确实存在于某处。
在云计算概念诞生之前，很多公司已经通过互联网提供诸多服务，如订票、地图搜索以及其他硬件租赁业务，随着服务内容和用户规模的不断增加，对于服务的可靠性、可用性的要求急剧增加，诞生了能够集中处理计算的建设于各地的数据中心。有能力建设于各地的数据中心的大公司，在有服务资源的情况下，就将自己的基础设施能力作为服务提供给相关的用户，形成了今天的云计算。
20世纪60年待，麦肯锡(john McCarthy)就提出了把计算能力作为一种像水和电一样的公共事业提供给用户。云计算的第一个里程碑是1999年Saleforce.com提出的通过一个网站向企业提供企业级应用的概念；另一个重要进展是2002年亚马逊提供一组包括存储空间、计算能力甚至人工智能等资源服务的webservice；2005年亚马逊又提出弹性计算云（Elastic Compute Cloud，EC2）的webservice，允许小企业和私人租用亚马逊的计算机来运行它们自己的应用。到2008年，几乎所有主流IT厂商（包括硬件IBM、Intel、HP、思科、Sun和软件微软、Oracle、VMware和互联网的Google、亚马逊、Saleforce和电信的中国移动、中国电信、AT&T）开始讨论云计算，这些企业覆盖了整个IT产业链，也构成了完整的云计算生态系统。
云计算是使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。使得企业能够根据需求访问计算及或存储系统，类似从古老的单台发电机模式向电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水、电一样，方便取用，费用低廉。最大的不同在于，它是通过互联网进行传输的。