位於調景嶺東北面的茅湖山,高約180米山腰上有一座用花崗石砌成的圓形觀測台,屬古時的軍事建築物之一,有研究學者猜測,為清朝佛堂洲海關與之對崗哨站,作為偵察航道之用,當時觀測台透過信號燈或煙火,與東面佛堂洲總部及佛堂門一帶海域的海關船隻聯繫。因其建築年份已不可考,從僅存稀有的歷史文獻、建築面貌及用料推算,相信是早於1898年英國租借得新九龍及新界時已建立。由於該建築為歐洲風格,且外貌有迪士尼童話古堡的味道,甚具特色,後來被市民稱為茅湖山廢堡。現屬香港一級歷史建築物。
茅湖山腰上的茅湖觀測台,是繼清朝佛堂洲海關之後,亦曾於1950年代作觀望台,為當時被港府他遷入偏僻調景嶺聚居的國軍老兵,看守山下海域一帶之用,更自組巡邏隊,以防左派共黨人士潛越區內在水源下毒,以及向支持民國政府的國軍進行反攻。有傳說當年該古堡為私人住宅,從該山上察看無水源,故應無法可長期居留,以及當時四周為荒山野地,尚有蟒蛇、狐狸和黃鼠狼等野獸出沒,甚至亦有骸骨的發現。
香港日佔時期,茅湖山上的古堡亦曾被日軍佔據作觀看台,監視整個山下由西貢至鯉魚門一帶海域的活動,以防日後盟軍的反攻。戰後,當地原居民在古堡內及其周圍拾得手榴彈、鋼盔,甚至軍帽、軍服和鞋等證物。另外,山下區前為調景嶺90 號巴士站總站所在地原為一座碉堡,是與山上茅湖古堡相應的哨站,在50 年代被區內居民霸佔居住,故外貌不易被外人察覺。傳說碉堡附近的山頂警署後山,更有地下長隧道相通另一山頭的魔鬼山。
茅湖山古堡依山而建,建築結構獨特,以深灰帶藍色的火山岩砌成,分為前後兩座建築物。前座為圓形露天頂的石砌塔樓,中央設有方形花崗石台,四周為拱形窗戶,可監察山下四方海域,圍外則另有圓弧形長石座歇息。向山坡方向設有一道長方門,旁有樓梯可通上天台角落,於此更毫無阻礙地觀測整個佛堂門航道。
圓形塔樓旁有座單層長方型的石屋,用料同一模式,門窗皆配合原有的設計採用長方建築,前後兩邊有金字頂圍牆,相信為駐守觀測台的官員居所及儲存彈藥庫之用。現時該長型遺址的天花大部份已塌下,只剩下圍牆外殼,而圓形的觀測台除了樓梯頂部殘破外,大致上仍然保存完好。古堡旁前期更發現有地界石一塊,上刻有英文字母及數目字NKIL37,並有箭咀指示方向可作查考屬地業權來源。
西貢區議會為令該古堡成為區內的特色旅遊景點,已協助清理古堡內的倒塌磚塊、碎料和廢物,以及清洗遊人留下古堡外牆的塗鴉字跡等。