Obiekt zestal zlokalizowany na południe od fary kolskiej i pierwotnie oddzielony byt jedną z odnóg rzeki Warty od miasta, co w pewnym sensie wyjaśnia bliskość położenia obok siebie obu tych świątyń (często w ówczesnym czasie nasze klasztory budowane były poza murami miasta, mając służyć uboższej ludności zamieszkującej przedmieścia).
Pierwotny kościół pod wezwaniem Nawiedzenia NMP był bardzo skromny i niewielkich rozmiarów. Fundator miał zamiar dokończyć budowę klasztoru i postawić budynki gospodarcze. Bernardyni jednak nie zgodzili się na to, uważając, że będzie to przeciw ubóstwu, gdy jeden fundator własnym kosztem i w tak krótkim czasie wszystko wykona. Co więcej, władze zakonne poleciły przekazać farze kolskiej hojne wyposażenie klasztoru przez fundatora: kielichy, monstrancje, ornaty, kapy oraz cenne, wykonane na pergaminie i ozdobione miniaturami księgi liturgiczne (mszały, graduały, psałterze).
W szeregu szczególniejszych dobrodziejów klasztoru, dzięki którym udało się budowę klasztoru doprowadzić do końca, należy wymienić Księżnę Annę Sochaczewską. W 1482 roku dzięki jej staraniom ukończono wszelkie prace związane z budową kościoła gotyckiego oraz zabudowań klasztornych. Wdzięczni Bernardyni pochowali po śmierci swoją benefaktorkę w krypcie pod wielkim ołtarzem. W 1575 roku kościół został powiększony przez dobudowanie z jego prawej strony kaplicy ku czci św. Anny. Jej fundatorami byli Wysoccy, właściciele Budzisławic, a potem opiekowali się nią członkowie bractwa pod wezwaniem tejże świętej.
Od początku swojego istnienia klasztor, nie posiadając żadnych majątków, wspierany był przez okoliczną szlachtę i mieszczaństwo. Innym źródłem utrzymania była kwesta, praktykowana po dziś dzień. Szczególnymi benefaktorami byli królowie i możnowładcy wielkopolscy, którzy przez kilka wieków zjeżdżali do Koła na słynne „Sejmiki Wielkopolskie”. Gościnny Klasztor często otwierał im swoje podwoje, jednakże ząb czasu sprawił, iż sam potrzebował pilnej restauracji. Przystąpiono do niej w 1751 roku, za gwardiaństwa O. Franciszka Nieborskiego, znacznie przebudowując pomieszczenia mieszkalne, czyli klasztor (konwent), i na miejscu starego wznosząc nowy kościół. Ostatecznie dzieło dokończono w 1788 roku, a Ks. Bp Józef Korytowski, sufragan gnieźnieński w dniu 17 września tegoż roku dokonał konsekracji kościoła p.w. Nawiedzenia Najśw. Maryi Panny. Klasztor zachował swoją gotycką architekturę, a świątynia już wówczas otrzymała obecny styl. Architektem świątyni był Krystian Benke, organy skonstruował organmistrz z Warszawy Józef Janiszek, figuralną polichromię wykonał brat zakonny Paschalis Wotos, natomiast ołtarze, zewnętrzną szatę organów, chór muzyczny, ambonę, galerie, stalle i konfesjonały wykonali rzeźbiarze zakonni br. Ambroży Hegen i Antoni Bielecki. Trójnawowy kościół, noszący zasadnicze cechy baroku, a wewnątrz w malowniczym wystroju przechodzący łagodnie w styl rokoko, po ukończeniu przedstawiał się wspaniale.
Od początku Bernardyni odgrywali dużą rolę w życiu religijnym Kola i okolicy. Kościół ich cieszył się zawsze dużą frekwencją wiernych. Przy klasztorze działały prężnie stowarzyszenia religijne: najstarszy Trzeci Zakon św. Franciszka, Bractwo Niepokalanego Poczęcia NMP, Bractwo św. Tekli, Bractwo św. Jana Nepomucena, Bractwo św. Anny i św. Antoniego. Skupiały one szlachtę, mieszczan i chłopów, czynnie włączając się w życie społeczne miasta.
W XVII i XVIII wieku w Klasztorze istniał Nowicjat Zakonny i Studium Teologiczne, a w XIX wieku Bernardyni prowadzili w Kole Szkołę Elementarną. Podczas manifestacji patriotycznych (1861-1862) Klasztor rozbudzał ducha polskości. Odprawiano Msze sw. podczas których głoszone były zagrzewające kazania, a nawet śpiewano zakazane przez władze carskie pieśni. W czasie powstania styczniowego (1863-1864) Klasztor w Kole opiekował się walczącymi o wolność, a po powstaniu został mianowany konwentem etatowym (przeznaczonym na dożywocie), do którego zwożono zakonników ze skasowanych klasztorów. Jedynym z zakonników, który doczekał się niepodległości Polski w 1918 roku byt O. Franciszek Czachorowski, zmarły w 1919. Czas II wojny światowej był kolejnym etapem doświadczeń. W 1940 roku hitlerowcy aresztowali i wywieźli do Dachau ówczesnego gwardiana O. Wiktoryna Rudolfa, O. Albina Białogłowskiego i Brata Władysława Gołębiowskiego. Inni członkowie klasztoru kolskiego zdołali ujść do Generalnego Gubernatorstwa. Niemcy zamknęli kościół, przeznaczając go na skład mebli i na warsztaty naprawcze samochodów. W budynku klasztornym zaś urządzono kwatery dla żandarmerii wojskowej i funkcjonariuszy administracji niemieckiej. Podczas ofensywy wojsk radzieckich zostały poważnie uszkodzone obie wieże, dachy i sklepienie zarwane w kilku miejscach, ponadto pożar wzniecony przez wycofujących się Niemców wypalił wnętrze zakrystii i prezbiterium. Spalił się też częściowo wielki ołtarz wraz z tabernakulum i łaskami słynącym obrazem Matki Bożej. 15 I 1945 roku przybył do Kola zamianowany gwardianem O. Franciszek Majewski i przy bezinteresownej pomocy miejscowej ludności rzetelnie zabrał się do usuwania szkód, jakie wyrządziła wojna. Z powodu braku kapłanów diecezjalnych wymordowanych przez okupanta, O. Majewski otrzymał nominację biskupa na tymczasowego administratora parafii kolskiej oraz parafii Dobrów, do czasu obsadzenia tychże parafii przez diecezję.
Osobnym interesującym tematem jest podziemie świątyni, stanowiące niejako dolny kościół. Kryje ono w sobie bogatą historię pięciowiekowej przeszłości klasztoru. Stanowi swoistego rodzaju nekropolię kryjącą w sobie około 600 pochówków: zakonników, możnowładców – benefaktorów i powstańców. Trzy formy grzebalne: katakumby, trumny (sarkofagi) oraz pochówki do ziemi. Stanowią one ciekawy materiał do analizy historycznej. Odnowiona świątynia i restaurowany konwent są dziś godnym uwagi obiektem klasy międzynarodowej.
