La costruzione è stata edificata su un antica chiesa ipogea dei SS. Pietro e Paolo. Questa chiesetta rupestre è ancora oggi visitabile, vi si accede tramite una botola dalla terza cappella sulla sinistra e vi è presente un affresco raffigurante la visita del Papa Urbano II a Matera del 1093. Alcuni cronisti narrano che nel 1218 detta chiesa ospitò San Francesco d'Assisi in persona.