Muzeum mieści się w zabytkowym staropolskim dworze. Mieszkająca w nim szlachta posiadała, położoną na południe od Limanowej, Starą Wieś. Granice tej wsi i miasta do II Wojny Światowej wyznaczał właśnie ten dwór. Historia Starej Wsi i rodów w niej panujących sięga XV wieku.