O osnutku samostana sv. Duje se tvrdilo: benediktinci su pozvali Sv. Franju da u Kraju sagradi samostan, ovaj je poslao fra Flora, a benediktinci su dali kapelu Sv. Duje s kućom; odnosno, samostan i crkvu sagradila je patricijska obitelj na mjestu koje su franjevcima poklonili benediktinci iz Ćokovca.

Crkva sv. Duje se spominje 8. travnja 1370. u oporuci kojom Mavro pok. Frana Grisogono određuje gradnju sadašnje. Njegova majka Pelegrina 22. lipnja 1384. ugovara gradnju crkve s Dubrovčaninom Jurjem Miljanovićem, a 19. kolovoza 1389. poklanja posjede franjevcima prognanima iz Bosne (koje spominje popis samostana provincije Sklavonije 1382.) i 22. svibnja 1392. određuje da im se podigne samostan.

Gradnja samostana je, vjerojatno, započela 1394., a u funkciji je od druge polovice XV.st.

Prvotna je crkvica povećana 1401. Renesansni oblik je od prije 1554. (na zabatu portala je Alešijev kipić sv. Jeronima i ta godina). Opis interijera s inventarom u Valierovoj vizitaciji 1579. navodi da je "u doličnom stanju, dobro građena i u skladnom omjeru" (s korom ispred glavnoga oltara). Oltara su bila tri: veliki, posvećen sv. Mariji i sv. Jeronimu sa slikom, s lijeve strane oltar sv. Franje sa slikom i velikim raspelom, a s desne Bezgrješnoga začeća sa starom slikom.

Zadarski trgovac Petar pok. Cvitka određuje 6. studenoga 1418. da se napravi slika u vrijednosti od 32 dukata (vjerojatno je riječ o slici Bogorodice s malim Kristom i sv. Ivanom). Fra Ljudevit Benčić je 1848. dodao dva oltara i promijenio svima titulare. Tri su mramorna: glavni (pala sv. Duje i Gospe od škapulara), "duša" (slika bl. Gospe i sv. Bonaventure) i Bezgrješnoga začeća (slika Bl. Gospe i dispute o Bezgrješnom začeću) te dva drvena: sv. Antuna Padovanskog i sv. Sebastijana. Drveni oltari su maknuti a oltarne slike smještene u samostan.

Grobovi stanovnika mještana su u crkvi od 1562. Nadgrobne ploče nose oznake nacionalne pripadnosti (starohrvatski i dalmatinski grbovi, polumjesec i zvijezda) i zanimanja (mač, kubura). Prezbiterij i sakristija su prekriveni pločicama 1912. Sadašnji je drveni strop iz 1959.

U klaustru je najstariji grob iz 1569. pa bi je vjerojatno klaustar građen nakon povećanja crkve (prva polovica XVI.st.). Jednostavan je i malen, sa lukovima, a stupovi su od bijelog kamena - po tradiciji s Ugljana gdje ih je tesao samostanski brat.

U samostanu je 21. kolovoza 1464. održan pokrajinski kapitul pod predsjedanjem generalnog vikara Reda fra Marka iz Bologne o ujedinjenju dalmatinske, dubrovačke i bosanske vikarije.

Republika sv. Marka je zabranila boravak braći iz Bosne na svom području, pa je samostan ušao u sastav Provincije sv. Jeronima. Prvi je poznati broj braće iz Valierove vizitacije 1579.: dva svećenika, jedan klerik, dva brata laika i dva pomoćnika (u drugoj polovici XVIII.st. bilo je katkada do petorice svećenika). Od francuske vladavine tu borave: dva svećenika i jedan brat laik.

Doseljenici iz Bosne su osnovali naselje. Redovnici ih pastoriziraju i pomažu župnicima Pašmana, Ugljana i biogradskoga primorja. Između dva svjetska rata administriraju župu Tkon, a od 20. rujna 1972. župe: Ždrelac, Banj i Dobropoljana.

Mnoge su mjesne tekovine plod pomoći franjevaca: izgradnja pristaništa, škola (započela u samostanu) za čiju izgradnju su poklonili zemljište, čitaonica (otvorena 1907.), uzdizanje gospodarstva, sadnja murvi za uzgoj svilenih buba, napredno obrađivanje vinograda i maslinika.

U samostanu je izložba knjiga i rukopisa, umjetnina, crkvenog posuđa i ruha, predmeti ručnog rada i arheološki relikti. Osim muzeja, danas je samostan jedan od najreprezentativnijih prostora za održavanja raznih koncerata i ostalih umjetničkih programa.