Замок был построен в период с 1550 по 1560 годы и в основном использовался в оборонительных целях. В 1695 году семья Лещинских продала замок новым владельцам. В начале XVIII века Голуховский замок часто менял владельцев, что привело к ухудшению его состояния в короткие сроки. В 1856 году замок был приобретен в качестве свадебного подарка для молодоженов Яна Дзялинского и Изабеллы Чарторыйской, дочери князя Адама Чарторыйского и Анны Софии Сапеги. В 1875 году началась реконструкция замка, которая продолжалась около 10 лет. В процессе работ над проектом участвовали французский архитектор Эжен Виоле ле Дюк, польский архитектор Зигмунд Горголевский и французский дизайнер Морис Огюст Обаду. Окончательный дизайн замка существенно отражает влияние архитектуры замков Луары.
В ходе реконструкции самая древняя часть замка была снесена, а в интерьерах дворца были установлены мраморные камины из Италии и Франции. Замок был окружен 162 гектарами английского парка, разработанного Адамом Кубашевским, в котором были посажены сотни редких и экзотических деревьев. Также на территории парка была построена семейная усыпальница с часовней.
В измененном замке Изабелла Чарторыйская начала собирать свою коллекцию произведений искусства с намерением передать ее позже в музей. После смерти хозяйки в 1899 году замок перешел во владение ее племянника, князя Витольда Чарторыйского, и оставался в семье до начала Второй мировой войны. Во время военных лет часть уникальной коллекции произведений была похищена.
