Historie této památky je velmi bohatá a úzce se pojí s dějinami řádu minoritů v Kladsku. První představitelé řádu menších bratří do Kladska dorazili z Čech kolem poloviny 13. století. Víme, že vysvěcení minoritské kaple proběhlo v roce 1257, proto se už tehdy muselo začít se stavbou kostela. Záhy rovněž byly fundovány tři oltáře pro minoritský chrám. Ovšem, kdy přesně stavba kostela a kláštera začala, nevíme. V roce 1270 český král Přemysl Otakar II. vydal listinu potvrzující minoritům nadání země na Pískovém ostrově. Bohužel, několik následujících staletí už k nim nebylo tak přívětivých. Nejdříve v roce 1428 kostel a klášter nacházející se mimo okruh městských hradeb zbořili husité. Znovu obnovený kostel později utrpěl vážné škody během povodně v roce 1475. Bratři jej v roce 1564 opustili a následně byl rozebrán.

Dřívější pozemky se do rukou minoritů vrátily na rozkaz Ferdinanda II., který město v roce 1622 dobyl. Současný barokní chrám byl vystavěn v letech 1628-31. Kvůli neklidným časům a finančním potížím ale jeho dokončení trvalo velmi dlouho. Ani po obnově ale osud minoritům neukázal laskavou tvář. Už v roce 1783 narušila základy a zdi budov kostela a přiléhajícího kláštera obří povodeň. V roce 1810 byl klášter na základě dekretu o sekularizaci vydaném v pruském státě zrušen. Kostel se proměnil ve sklad slámy a sena pro pruskou posádku. V klášteře se zase usadili poddůstojníci a vojenští úředníci s rodinami. Přechodně část kláštera zastávala také úlohu nemocnice. V roce 1834 pruská vláda kostel proměnila z katolického na evangelický.

V této době velmi utrpěl historický interiér kláštera. Naštěstí se dodnes dochovaly fresky Felixe Antonína Schefflera zdobící refektář. Na větší malbě zachytil adoraci Nejsvětější Trojice Pannou Marií a ve čtyřech skupinách uspořádanými řeholníky. Najdeme mezi nimi např. patrona řádu sv. Františka z Assisi, nejdůležitější osobnosti řádu a bratry, kteří zahynuli mučednickou smrtí. Dvě menší malby představují adoraci kříže světskou odnoží řádu, tzv. terciáři, a adoraci eucharistie klariskami seskupenými kolem sv. Kláry z Assisi, zakladatelky řádu. Dílo dále doplňují menší fresky vyobrazující hlavní ctnosti řádu: chudobu, pokoru, poslušnost, naději, víru a lásku.

V roce 1619 městská rada, která na krátkou dobu klášter převzala, v jeho prostorách provozovala první tiskárnu v Kladsku.