2021年2月7日，大數(shù)據(jù)課程進入第十八天，主題聚焦于數(shù)據(jù)處理與存儲服務(wù)的核心技術(shù)。這一天筆記的核心在于理解大規(guī)模數(shù)據(jù)生態(tài)中，存儲與計算如何協(xié)同工作，并掌握不同工具在數(shù)據(jù)生命周期中的角色定位。以下是對本次課程內(nèi)容的系統(tǒng)整理。\n\n## 一、數(shù)據(jù)存儲服務(wù)的演進與分層\n\n課程首先回顧了數(shù)據(jù)存儲從單機文件系統(tǒng)到分布式存儲的必然演進過程。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在處理PB級數(shù)據(jù)時面臨擴展性瓶頸，而Hadoop的HDFS（分布式文件系統(tǒng)）解決了海量文件的存儲問題，尤其適合大文件順序讀寫場景。HDFS設(shè)計上的特點是高容錯和低成本，默認復(fù)制因子為3，確保了設(shè)備故障時的數(shù)據(jù)災(zāi)備能力。\n\n然而原生HDFS在處理中小規(guī)模文件時不夠高效，因此引入了對象存儲（如AWS S3、阿里云OSS）和對列式存儲的強調(diào)。Parquet與ORC這類列式格式不僅是存儲優(yōu)化策略，更與計算引擎緊密結(jié)合，可以顯著提升這類選擇率較低（列裁剪）的查詢場景的I/O加速。\n\n## 二、