V zvezi z ustanovitvijo samostana sv. Duje obstajajo naslednje trditve: benediktinci so pozvali Sv. Franjo, da v Kraju zgradi samostan, ta je poslal fra Flora, benediktinci pa so dali kapelo Sv. Duje s hišo; pravzaprav je samostan in cerkev zgradila plemiška družina na ozemlju, ki so ga franjevcem poklonili benediktinci iz Ćokovca.
Cerkev sv. Duje je omenjena 8. aprila 1370 v oporoki, s katero Mavro pok. Frana Grisogono odreja izgradnjo današnje cerkve. Njegova mati Pelegrina se je 22. junija 1384 glede gradnje cerkve dogovorila z dubrovčanom Jurjem Miljanovićem, 19. avgusta 1389 pa je poklonila posesti franjevcem, ki so bili pregnani iz Bosne (katere omenja popis samostanov province Sklavonije 1382.) in 22. maja 1392 odredi, da se jim zgradi samostan.
Gradnja samostana se je verjetno pričela leta 1394, delovati pa je začel v drugi polovici XV. stoletja.
Prvotna cerkvica je bila povečana leta 1401. Renesančno obliko je dobila pred letom 1554 (na zatrepu portala je Alešijev kipec sv. Jeronima in ta letnica). Opis interiera z inventarjem v Valierovi «vizitaciji» iz leta 1579 navaja, da je "v odličnem stanju, dobro grajena in skladnih mer" (s korom pred glavnim oltarjem). Imela je tri oltarje: veliki oltar, posvečen sv. Mariji in sv. Jeronimu s sliko, z leve strani oltar sv. Franje s sliko in velikim razpelom, z desne strani pa oltar «Bezgrješnoga začeća» s staro sliko.

 Zadarski trgovec Petar pok. Cvitka 6 novembra 1418 odredi izdelavo slike v vrednosti 32 dukatov (verjetno je govora o sliki «Bogorodice s malim Kristom i sv. Ivanom»). Fra Ljudevit Benčić je leta 1848 dodal dva oltarja in vsem spremenil naslove. Trije so marmornati: glavni (pala sv. Duje i Gospe od škapulara), "duša" (slika bl. Gospe i sv. Bonaventure) in Bezgrješnoga začeća (slika Bl. Gospe i dispute o Bezgrješnom začeću), dva pa sta lesena: sv. Antuna Padovanskog in sv. Sebastijana. Lesena oltarja sta bila odstranjena, oltarne slike pa so bile prenešene v samostan.
Grobovi meščanov se nahajajo v cerkvi od leta 1562. Nagrobne plošče nosijo oznake nacionalne pripadnosti (starohrvaški in dalmatinski grbi, polmesec in zvezda) ter poklicev (meč, tok za samokres). Prezbiterij in zakristija sta bila leta 1912 prekrita s ploščicami. Današnji leseni strop je bil narejen leta 1959.
Na notranjem dvorišču je najstarejši grob iz leta 1569, notranje dvorišče pa je bilo verjetno zgrajeno po povečanju cerkve (v prvi polovici XVI.stoletja). Je preprosto in majhno, z loki in stebri iz belega kamna - po tradiciji z Ugljena, kjer jih je tesal samostanski brat.
Naseljenci iz Bosne so ustanovili naselje Kraj. Številne pridobitve so plod pomoči frančiškanov: izgradnja pristanišča, šola, čitalnica (odprta leta 1907.), razcvet gospodarstva, saditev murv za vzgojo sviloprejk, napredna obdelava vinogradov in oljčnih nasadov.
V samostanu je razstava knjig in rokopisov, umetnin, cerkvene posode in oblek, izdelkov ročnega dela in arheoloških ostankov. Poleg muzeja je danes samostan eden od najprimernejših prostorov za izvajanje raznih koncertov in drugih umetniških programov.