實際上，冰山都是浮在水中，並且總有一小部分會浮出水面，這是因爲冰的密度比水小。大多數物質都有一個共同的性質：熱脹冷縮。受熱以後會膨脹變大，遇冷則縮小。水在大部分時候，也是熱脹冷縮的。水的密度在4℃時最大，溫度高於4℃時，水是熱脹冷縮的，水的密度隨溫度升高而減小。但是在0～4℃時，水是熱縮冷脹的，密度隨溫度的升高而增加。這種奇特的反常膨脹的性質使得冰比水輕，0℃時冰的密度是0.9克/釐米3，4℃的水密度是1.0克/釐米3，同體積的冰的質量是水的90%，即相同體積的冰比水輕，所以冰能浮在水面上。
水和冰都是由水分子構成的。每個水分子又是由2個氫原子和1個氧原子構成的。在水分子中，氫原子和氧原子通過共用電子對結合在一起。由於氧原子吸引電子的能力比氫原子強，共用電子對偏向氧原子一邊，結果是每個氫原子帶少量的正電荷，每個氧原子帶少量的負電荷，由於正負相吸，一個水分子中的氫原子會與附近另一個水分子中的氧原子之間產生靜電吸引力，這種靜電吸引力被稱爲氫鍵。氫鍵的存在使得水中的水分子不是獨立存在的，而是相互締合成大分子。由於氫鍵具有方向性，水分子締合時會有序排列成規則的六角形環狀或正四面體空間網狀結構。水的溫度越低，水分子的熱運動越慢，水分子的締合作用就越強。液態水中，部分水分子發生締合，部分水分子沒有發生締合，沒有締合的水分子會進入到締合大分子的縫隙中。而在固態冰中，所有的水分子都締合成了規則的大分子團，這就使得固態冰中分子間隙比液態水中大，所以冰的密度變得比同溫度的水小。
但是，冰山並不是完全漂浮在水面上的，一般一座冰山只有1/10浮在水面上，另外的9/10在水面以下，所以人們常用“冰山一角”來形容暴露出來的情況其實只是整體的一小部分。物體要能浮在水面上，水對它的浮力必須等於物體自身的重力，而水對物體的浮力則等於物體排開水的重力。由於冰的密度與水的密度比是9:10，所以冰在水裏時，只要有9/10的部分在水面以下，它排開水的重力就等於自身的重力了，即浮力等於重力，其餘1/10就浮在水面上了。
冰浮在水面上，對於地球的生態有非常重要的作用。冰就像給水面蓋了一牀被子，可以阻止冰層以下的水溫進一步降低，水裏的魚蝦就能安全地過冬了。如果冰比水重，沉到水底，那表面的水會不停地凍結成冰，最後整個水體凍得硬邦邦的，水裏的生物都將無法生存。
