Ai piedi della collina di Montedoro sorge l’antica Badiaw normanna di San Pietro Apostolo, comunemente conosciuta come convento di San Pietro alli Marmi. Nel 1930, il Soprintendente dei Monumenti della Campania Gino Clerici, durante i lavori di restauro, dichiarò il complesso "monumento nazionale", con l'annessa chiesa, la cui fondazione risale, come riportato sull'epigrafe murata all'interno, al tempo di re Guglielmo e completata nel 1156. La presenza di Roberto il Guiscardo a Salerno lascia però credere che la prima fondazione di San Pietro sarebbe stata contemporanea al Duomo di San Matteo, intorno al 1076, anno in cui il Guiscardo divenne Principe di Salerno, e che quindi Guglielmo il Buono avrebbe provveduto solo a una riedificazione del complesso. I primi ad abitare il convento furono i padri benedettini che lo tennero per vari secoli, fino 1577 quando il cardinale Antonio Carafa, con l'approvazione di papa Gregorio XIII, cedette la Badia ai Padri Minimi dell'ordine di San Francesco da Paola, detti Paolotti. Nel 1743 Benedetto XIV assegnò l'abbazia e tutti i suoi beni al Collegio dei Cinesi, istituito da Matteo Ripa che la abitarono fino all'occupazione militare napoleonica del 1806, cui seguì il decreto di soppressione dell’ordine del 7 Agosto 1807. In questo periodo la chiesa assunse l'aspetto tipico di un edificio barocco, con stucchi e finte volte ad incannucciata che obliterarono l'aspetto originario della chiesa. Nel 1886 il complesso fu riscattato dai frati minori cappuccini che vi rimasero definitivamente e che tutt'ora lo abitano. Nel 1928, su ordine del regio soprintendente all’arte medioevale e moderna, Gino Chierici, si diede inizio ai lavori di liberazione della chiesa, e delle sovrastrutture e decorazioni barocche. Nel 1929 si verificò il crollo del soffitto della navata centrale e laterale sinistra della chiesa coinvolgendo anche le relative colonne e i capitelli. Poiché questi ultimi rimasero abbastanza integri, si potè procedere al loro rimontaggio; non fu possibile, invece, salvare gran parte delle monofore. Durante i lavori di recupero fu scoperta la cripta, grazie a una voragine apertasi nel pavimento della chiesa.

La Chiesa presenta uno schema planimetrico di tradizione romanica, con una struttura a tre navate absidate con impiego di colonne e capitelli da spoglio a reggere arcate a tutto sesto. L’entrata principale della chiesa è accompagnata da una scalinata che collega il piazzale con il sagrato: l'ingresso, posto originariamente sulla parete opposta a quella absidata e situato ad occidente, attualmente si apre lungo la navata di destra ed è costituito da un semplice portale in pietra, con stemma della famiglia Carafa. Lungo le pareti della navata centrale si aprono dodici monofore, ed altre dodici sulle pareti delle navate laterali, tutte realizzate in pietra traforata a creare motivi geometrici e floreali stilizzati. Di queste solo alcune sono originali, le altre rifatte durante il restauro degli anni Trenta. La copertura, che in origine doveva essere costituita da un tetto a due falde sulla navata centrale e da un unico spiovente su quelle laterali, si presenta attualmente a capriate lignee. La pavimentazione è in battuto di cemento. Degli affreschi che decoravano la chiesa sono rimaste solo alcune tracce nelle absidi laterali. Nell'abside di sinistra vi è la rappresentazione del Redentore Risorto, affiancato dalla figura di Sant'Andrea e di San Pietro, raffigurati di maggiori dimensioni. L'intero affresco è sormontato dall'immagine della croce. L'abside di destra è affrescata con le immagini di San Francesco, identificabile dalle stimmate, dal libro e dalla croce che tiene tra le mani, mentre sulla sinistra vi è la raffigurazione di Sant'Antonio in veste di frate minore con il giglio e il libro tra le mani.

Secondo lo storico Carmine Giarla, gli affreschi si possono datare tra il 1564-1578 e attribuire a Giovanni Luca de Luca, figlio di Giovanni Luca de Magistro, autore degli affreschi absidali di San Francesco. Una scala lungo la navata laterale conduce all'interno della Cripta dove è venerato il corpo di San Berniero, compatrono di Eboli, che veniva invocato per malattie spirituali e possessioni demoniache. Le sue doti da esorcista sono ben espresse nel bassorilievo che ancora oggi si conserva nella cripta, con il santo in abito da pellegrino, raffigurato con il bastone in mano nell'atto di cacciare il demonio da un'ossessa. La cripta, che si sviluppa al di sotto della zona absidale, è di forma rettangolare con volte a crociera che si impostano su pilastri addossati alle pareti laterali e su due colonne centrali, elementi di spoglio con interposti pulvini. Tutt'intorno vi è un sedile in fabbrica. La cripta riproduce l'impianto a tre absidi nella parte più larga. L'abside centrale, preceduto da un arco a tutto sesto, presenta un altare in pietra al cui interno vi è l'urna con le reliquie di San Berniero. L'omaggio della cripta a San Berniero risale al 1578 come riportato sull'iscrizione, posta sulla parete di fondo, dal cardinale Carafa. Nell'abside di destra si conserva una statua lignea di San Berniero opera dello scultore Donato Villano di Napoli, datata al 1610. Essa rappresenta il santo con un'ampia aureola e un bastone nella mano destra. Nell'abside di sinistra vi è la statua lignea di San Fedele da Sigmaringa dello scultore Giacomo Colombo del 1690. Il santo, in abito da francescano, stringe nella mano sinistra un crocifisso e la mano destra che lo indica con l'indice. Volge lo sguardo davanti a sé, tenendo le labbra socchiuse, come se stesse pronunciando parole di perdono verso i suoi carnefici mentre lo stanno marterizzando. Accanto è collocata la statua di San Vincenzo Ferrer, realizzata nel XIX secolo e rappresenta il santo in abito talare, che regge con la mano destra una tromba e nella mano sinistra un libro aperto recante l'iscrizione in latino " TIMETE DEUM ET DATE ILLI HONOREM".

Intorno alla metà del 1500 i padri minimi iniziarono la costruzione del Convento, che si sviluppa su tre livelli ed intorno ad un chiostro di forma quadrata delimitato da arcate a tutto sesto che poggiano su pilastri quadrangolari. Sui conci di chiave degli archi si trovano gli stemmi nobiliari delle famiglie che contribuirono con il comune di Eboli alla costruzione del convento. Dal chiostro si accede ai locali che ospitano la Biblioteca ed il Museo Africano, allestito da frati missionari. La Biblioteca , sita all'interno dei locali del Convento, è di grande valore storico, non solo per la quantità di libri conservati ma anche per la loro bellezza e rarità. Oltre ai libri, nei suoi locali sono conservati molti giornali antichi tra i quali L’Osservatore Romano. Ciò che accomuna l'intero complesso alle basiliche normanne del periodo sono gli splendidi elementi decorativi tipici dell'architettura romanica campana, che decorano l'esterno della chiesa e del campanile, le tarsie murarie. Il partito decorativo è caratterizzato da una successione di bipenne in tufo grigio che racchiudono nelle loro anse semicircolari dei tondi in tufo giallo; la policromia è completata da un susseguirsi di pentagoni irregolari in tufo giallo. Questa tecnica decorativa si ripete anche sul paramento murario del campanile che si erge nella parte sud-ovest della chiesa. Il campanile si presenta con un basamento leggermente a scarpata delimitato nella parte superiore da una fascia decorativa a tarsie in tufo grigio e pianelle di cotto. La parte superiore presenta due ordini di aperture, uno inferiore costituito da bifore ed uno superiore con le monofore. La parte terminale è formata da un tamburo cilindrico con quattro monofore che si conclude con una cupola di forma conica. Sul piazzale che conduce all'ingresso della chiesa si trova la cella di San Berniero con un affresco sull'altare che raffigura il santo moribondo, assistito dagli angeli e cherubini. In una mano stringe il crocifisso e nell'altra una pergamena, al fianco del giaciglio, il bastone da pellegrino.