Franciszkanie do Brodnicy przybyli w 1752 r. Fundatorem kościoła i klasztoru byli: starosta brodnicki Józef Pląskowski i jego żona Rozalia z Czapskich, którzy przekazali zakonnikom teren tzw. Piaskach pod przyszłą budowę obiektów sakralnych. Jako wyposażenie przyznali klasztorowi łąki nad Drwęcą i pobliskie grunty, zagwarantowano także połów ryb w rzece, drewno opałowe oraz przekazano jezioro Strzemiuszek. Król August III 15 listopada 1751 r. potwierdził fundację franciszkanów w Brodnicy, a bp. Chełmiński, Wojciech Leski, dnia 27 stycznia 1752 r. wydał dekret zezwalający zakonnikom na oficjalne erygowanie domu zakonnego i osiedlenie się w mieście.
Pierwszy klasztor zbudowano z drewna. Zakonnicy wprowadzili się do niego 20 marca 1752 r. Wkrótce rozpoczęła się budowa kościoła murowanego pw. Św. Franciszka z Asyżu, którą ukończono w 1762 roku i 1 sierpnia dokonano poświęcenia. W następnej kolejności przystąpiono do budowy murowanego klasztoru. Pracę budowlane ukończono w 1772 r.
W dziejach klasztoru brodnickiego nie brakowało dramatycznych momentów. 14 kwietnia 1769 r. na terenie klasztoru doszło do krwawych walk. Schronili się tam przed Moskalami konfederaci barscy pod wodzą marszałka dobrzyńskiego Jana Zielińskiego. Po rozgromieniu konfederatów i zajęciu klasztoru Moskale podpalili klasztor. Pastwą ognia padł wtedy nie tylko sam budynek klasztorny, ale także biblioteka i archiwum.
Najbardziej dramatycznym był wiek XIX. W czasie epidemii cholery w sierpniu i wrześniu 1831 r. władze pruskie urządziły w części klasztoru szpital zakaźny, później umieszczono tam rannych i chorych żołnierzy polskich oraz cywilnych uczestników powstania listopadowego, którzy na początku października 1831 r. przechodzili przez Brodnicę. W tym samym roku władze pruskie zmusiły zakonników do całkowitego opuszczenia budynku. W ten sposób nastąpiła kasata klasztoru, który służył jako więzienie aż do roku 1945. Ogród klasztorny zamieniono na cmentarz, a kościół na kaplicę cmentarną.
Po drugiej wojnie światowej zaistniały warunki umożliwiające powrót zakonników.. Bp. Chełmiński, Kazimierz Kowalski, dekretem z dnia 15 sierpnia 1947 r. przekazał kościół braciom mniejszym z Prowincji Matki Boskiej Anielskiej z Krakowa. Uroczysty powrót zakonników nastąpił 2 listopada 1947 roku. Od tego czasu świątynia klasztorna nosi tytuł Niepokalanego Poczęcia Najświętszej Maryi Panny.
Po powrocie do Brodnicy franciszkanie zamieszkali w tej części klasztoru, która nie była zajęta przez Spółdzielnię Inwalidów „Jedność”. W 1979 r. Spółdzielnia opuściła zajmowane przez siebie lokale i dzięki temu cały klasztor znalazł się w posiadaniu zakonników, którzy po przeprowadzeniu odpowiednich remontów dostosowali go do potrzeb życia zakonnego.
W 1978 r. bp Bernard Czapliński, ordynariusz chełmiński erygował przy kościele parafię. Wielkim wydarzeniem w powojennej historii klasztoru było nawiedzenie relikwii św. Antoniego z Padwy, który przy tej okazji został ogłoszony patronem miasta. Stało się to 26 października 1995 r. Pomysłodawcą był ówczesny gwardian konwentu brodnickiego, o. Eugeniusz Krajewski. Inicjatywę tę poparł bp toruński Andrzej Suski, ale także władze miasta. O. prowincjał Hipolit Lipiński ustanowił kościół brodnicki sanktuarium św. Antoniego.
Kościół p.w. Niepokalanego Poczęcia Najświętszej Maryi Panny, barokowy, jednonawowy z orientowanym i prosto zamkniętym prezbiterium (za ołtarzem głównym wydzielona zakrystia a nad nią na piętrze chór zakonny). Wnętrze kryte sklepieniem kolebkowym z lutenami – gdzie okna zamknięte półkoliście. Łuk tęczowy wydzielony szerokim gurtem a ściany stylizowanymi filarami. Chór muzyczny wsparty na trzech arkadach wydzielonych półkoliście. Wyposażenie jednolite rokokowe z 1761 r. W prezbiterium z boku na ścianach obrazy: barokowy Matki Boskiej Królowej Aniołów w malowanej ramie z ornamentem roślinnym i puttami, barokowy (ok. połowy XVII w.), oraz naprzeciw obraz barokowy – Drzewo genealogiczne św. Franciszka (w. XVIII), ufundowany przez Marcina Lasockiego kasztelana sochaczewskiego. Pod obrazem Matki Boskiej Królowej Aniołów marmurowe epitafium fundatora Józefa Pląskowskiego (zm. w 1773 r.) i jego żony Rozalii ur. Czapskiej (zm. w 1755 r.) ufundowane w 1791 roku przez ich syna, ks. Andrzeja Pląskowskiego kanonika chełmińskiego i warmińskiego. Na ścianach bocznych kościoła odkryte niedawno tzw. zacheuszki – malowidła ścienne w miejscach poświęcenia kościoła, z emblematami franciszkańskimi skrzyżowanych dłoni.
Klasztor – o skromnych cechach barokowych, piętrowy, przylegający od zachodu do kościoła. Wzniesiony z cegły na rzucie prostokąta z czworobocznym wewnętrznym wirydażem, wokół którego w skrzydłach korytarz z wejściami do cel i pomieszczeń. Wnętrze sklepione kolebkowo – krzyżowo (parter) oraz kolebką z lunetami (I piętro). Dachy cztero- i dwuspadowe kryte dachówką. Obrazy św. Antoniego Padewskiego i utrzymany w tradycjach rokokowych krucyfiks z ok. 1770.
Pierwsza wspólnota klasztoru brodnickiego składała się z czterech osób. Byli to:
– O. Mieczysław Kierzkowski, lat 28, gwardian i misjonarz; pochodził z Pomorza.
– O. Iwo Mikołaj Pekłycz, lat 34, wikariusz klasztoru i zarazem pierwszy katecheta zakonny w Publicznej Szkole Podstawowej nr 1 w Brodnicy; pochodził z okolic Lwowa.
– Br. Urban Franciszek Duda, lat 59, zakrystianin i stolarz; pochodził z okolic Częstochowy.
– Br. Aleksy Janocha, młody kandydat do zakonu.