Das Swiss Cottage wurde 1810 im Stil einer Ornamental Farm von dem Regency-Architekten John Nash im Auftrag von Richard Butler, dem 12. Earl of Cahir, errichtet. An dem zweigeschossigen Gebäude fällt vor allem das weit heruntergezogene Reetdach auf. Ausserdem kommt das asymmetrische Haus mit nur wenigen rechten Winkeln aus und bietet viele reizvolle architektonische Details.

Ursprünglich Teil des Nachlasses von Lord und Lady Cahir, wurde das «Fantasy» -Haus zur Unterhaltung der Gäste genutzt. Der damalige Gutsbesitzer und Lord Cahir (später Viscount Cahir) war Richard Butler, 1. Earl of Glengall und 10. Baron Cahir (1775–1819), der 1793 Emily Jeffereys aus Blarney Castle heiratete.

Nach einigen Jahren der Vernachlässigung begann 1985 die Restaurierung des Hauses. Die Restaurierung wurde von einer Partnerschaft der Irish Georgian Society, der Port Royal Foundation und Sybil Connolly überwacht. Das Swiss Cottage wurde 1989 als historisches Hausmuseum der Öffentlichkeit zugänglich gemacht.