古墳がある周辺の地域は「布施郷」という郷が形成され、平安時代から室町時代にかけて、興福寺国民の布施氏が統治していました。布施氏は葛城山の尾根上に布施城という山城を築いていましたが、戦闘時以外の居住・執政空間として、古墳の上に里の館を建てました。
時代が下り、江戸時代初期には関ヶ原の戦い(1600年)で武功をあげた桑山一晴が和歌山城から移封され、布施藩(2万石)を立藩。新しい陣屋を古墳に造営しました。その際に城下町を「新城村」と名付け、のちに「新庄村」に変更され現在に至ります。
また、「屋敷山」という墳名は、墳丘上に桑山氏の屋敷があったことに因んでいます。