1602 m. Jono Karolio Chodkevičiaus kvietimu į Kretingą atvyko 10 bernardinų – 8 kunigai ir 2 broliai, kuriems buvo patikėta globoti fundatoriaus įsteigtą Viešpaties Apreiškimo Švč. Mergelei Marijai parapiją. Atvykę broliai laiko veltui neleido. Keliavo po parapijos kaimus, stiprino žmones katalikų tikėjime. Kretingos vienuolyno dienyne randama žinių, kad brolių rūpesčiu ištisos protestantų ir reformatų šeimos jau pirmaisiais metais perėjo į katalikų tikėjimą. Matydamas tokį uolų ir nuoširdų bernardinų darbą, Jonas Karolis Chodkevičius kartu su žmona Sofija įsipareigojo pastatyti mūrinį vienuolyną su bažnyčia. Vienuolyno pamatai išlieti 1605 m., tačiau tuomečiai Abiejų Tautų Respubliką alinę karai su Švedijos Karalyste stabdė sklandų statybų procesą. Į naujuosius namus broliai persikėlė tik po penkerių metų.

Pastato architektūros bruožai ir išdėstymas išliko beveik nepakitę iki šių dienų. Tai dviejų aukštų pastatas su uždaru kiemu, kurį pirmame aukšte juosė galerija. Iš jos buvo patenkama į gvardijono celę, refektorių, virtuvę ir kitas pagalbines patalpas. Antrame aukšte, abipus koridoriaus, glaudėsi brolių celės ir biblioteka. Užtvenkus Dopulčio (Dupulčio) upelį, pastatytas medinis vandens malūnas. Tuomečiame vienuolyno fasade buvo matomi sumišę vėlyvojo renesanso ir ankstyvojo baroko elementai. Šiandienis vienuolyno fasadas išsiskiria neorenesanso stiliaus bruožais. XVII a. antroje pusėje – XVIII a. pradžioje Kretingos bernardinų vienuolynas neišvengė skaudaus karų kirčio. Vienuolyną apiplėšė ir gerokai nusiaubė švedų kariuomenė. Kretingos Chodkevičių linijai anksti nutrūkus toliau vienuolynu rūpinosi Sapiegos. Jie stengėsi padėti bernardinams atgaivinti statinius, atnaujinti šių veiklą.

Ne ką lengvesnis broliams buvo ir Rusijos imperijos okupacijos laikotarpis. Rusų valdžia, siekdama pakirsti Katalikų Bažnyčios įtaką Lietuvoje, iš pradžių uždraudė be pasaulietinės valdžios leidimo priiminėti į vienuolynus naujus narius, paskui įsakė uždaryti katalikų vienuolynus. Išliko vienintelis Kretingos vienuolynas, jis buvo pastoraciniam darbui netinkamų kunigų ir vienuolių prieglauda. Taip pat į vienuolyną atgailai siųsti rusų valdžiai nusikaltę kunigai, mokę vaikus lietuviškai arba platinę uždraustą lietuvišką spaudą. Rusijos imperijos laikais bernardinų valdą sudarė vienuolynas, bažnyčia, net 19 pagalbinių gyvenamųjų ir ūkinių pastatų, mokykla, vaismedžių sodas, ganyklos. Prie vienuolyno veikusioje bernardinų parapinėje mokykloje mokėsi ir vienas iš lietuvių tautinio atgimimo ideologų, rašytojas, istorikas Simonas Daukantas.

Prasidėjus Pirmajam pasauliniam karui broliai buvo priversti evakuotis, pastatai ir vėl nuniokoti. Neilgai trukus bernardinai sugrįžo ir pradėjo atnaujinimo darbus. Tarpukario Lietuvoje mažesnieji broliai išgyveno tikrą klestėjimo laikotarpį. Antrojo Pasaulinio karo išvakarėse Lietuvos mažesniųjų brolių provincijai priklausė ir aktyviai veikė daugiau kaip 130 brolių, klierikų, tėvų, novicijų (naujokų). Broliai vykdė tiesiogines funkcijas, taip pat vertėsi žemės ūkio veikla, pvz., brolis Jeronimas Plečkaitis išleido pirmąjį bitininkystės vadovėlį šalyje, o jo ūkyje augintos veislinės telyčaitės apdovanotos žemės ūkio parodoje. Tuomet pastatų ansamblį papildė Šv. Antano rūmai ir kolegija, kitaip dar vadinta Pranciškonų gimnazija. Tarpukariu garsi gimnazija sudarė galimybę neturtingiems, bet gabiems jaunuoliams įgyti vidurinį išsilavinimą, o turintiems misionieriaus pašaukimą – tapti kunigais. Šv. Antano rūmai buvo skirti apgyvendinti pranciškonų geradarius iš Jungtinių Amerikos Valstijų, norėjusius paskutines dienas praleisti tėvynėje. Deja, 1940 m. bolševikų valdžia uždarė Kretingos vienuolyną, o jo patalpose įkurdino Raudonosios armijos ir pasienio kariuomenės dalinius. Karo metais pastatai stipriai nukentėjo nuo gaisro. Vėliau vienuolyno patalpose apgyvendintos šeimos, per karą netekusios namų.

Valdančiųjų sprendimu, vienuolyno likučius buvo nutarta nugriauti, tačiau aktyvių, krašto istorijai ir kultūriniam paveldui neabejingų žmonių pastangomis pastatas paskelbtas architektūros paminklu, o 1971–1977 m. restauruotas, jame įrengtas kraštotyros muziejus, rajono bibliotekos administracija ir knygų saugyklos. Prabėgus dar 12 metų, 1989 m. lapkričio 19 d., broliai pranciškonai pagaliau sugrįžo į Kretingą po ilgų veiklos pogrindyje metų. Pradėti vienuolyno ansamblio atgaivinimo darbai. Šiuo metu Kretingos bernardinų vienuolynas ir vėl vykdo tiesioginę savo misiją.