W styczniu 1629 roku biskup Szyszkowski wystąpił z inicjatywą sprowadzenia na Karczówkę ojców bernardynów. Przebudowano wtedy pomieszczenia plebanii, dostosowując je do celów klasztornych. Zabudowania od strony wschodniej ogrodzono murem z basztami na wschodnich narożach i ulokowaną pośrodku bramą. W 1631 roku zakończono budowę.

2 sierpnia 1631 roku erygowano klasztor bernardyński, który funkcjonował na Karczówce przez ponad dwa stulecia, jako ważny ośrodek religijny, kulturalny i społeczny. Bernardyni utrwalali na ziemi kieleckiej tradycje kultury religijnej zakonów żebraczych, wywodzące się z ruchu franciszkańskiego, co stanowiło jeden z najważniejszych nurtów życia kulturalnego w regionie świętokrzyskim.

Ojcowie byli zaangażowani w działalność kaznodziejską, spowiedniczą, duszpasterską, rekolekcyjną, a także w organizację pomocy materialnej dla potrzebujących. Ponadto, jak podają źródła historyczne – w połowie XIX wieku istniało przy bernardyńskim klasztorze zakonne studium teologiczne. Ponadto rozwijała się działalność rzemieślnicza i gospodarcza związana z funkcjonowaniem klasztoru.

Patriotyczne postawy zakonników, związane z ruchami narodowo-wyzwoleńczymi czasów powstania styczniowego, spowodowały, że klasztor bernardynów został zlikwidowany przez władze carskie 1864 roku.