Malá oravská obec Horná Lehota stála kedysi na strategicky i hospodársky významnej ceste spájajúcej uhorské banské mestá s trhovými mestami Poľska. Prechádzali tadiaľto a zastavovali sa tu všelijakí dôležití ľudia. Nečudo, že si tu v druhej polovici 16. storočia vybudoval svoje sídlo i významný šľachtic Juraj Abaffy, kapitán Oravského hradu. Jeho rezidencia postavená v duchu talianskej renesancie patrila svojho času k najreprezentatívnejším panským sídlam na Orave. Kaštieľ si dodnes zachoval svoj pôvodný renesančný vzhľad, vďaka čomu sa (údajne) považuje za najsevernejšie situovanú pamiatku talianskej renesancie na svete. Budova bola v 90-tych rokoch premenená na motel, dnes je však opustená a chátra. Je otázne, čo s ňou bude, či a kedy sa podarí nájsť kupca, ktorý by jej prinavrátil niekdajší lesk.