Niespełna dziesięć lat później – 20 września 1655 roku na Karczówce pojawiły się oddziały szwedzkie.
Według przekazów historycznych Szwedzi obrabowali klasztor doszczętnie.
Legenda głosi, że zakonnicy na wieść o zbliżającym się niebezpieczeństwie część skarbów ukryli w szparze górniczej usytuowanej na południe od klasztoru, zaś figurkę Chrystusa Frasobliwego umieścili w taki sposób, by Jego wzrok był skierowany na wejście do szybu.
Wedle podań Szwedzi wymordowali bernardynów, a nieodnalezione skarby po dziś dzień pozostają w podziemnych szybach.