古墳がある周辺の地域は「布施郷」という郷が形成され、平安時代から室町時代にかけて、興福寺国民の布施氏が統治していました。布施氏は葛城山の尾根上に布施城という山城を築いていましたが、戦闘時以外の居住・執政空間として、古墳の上に里の館を建てました。

時代が下り、江戸時代初期には関ヶ原の戦い（1600年）で武功をあげた桑山一晴が和歌山城から移封され、布施藩（２万石）を立藩。新しい陣屋を古墳に造営しました。その際に城下町を「新城村」と名付け、のちに「新庄村」に変更され現在に至ります。

また、「屋敷山」という墳名は、墳丘上に桑山氏の屋敷があったことに因んでいます。