Sostenne con straordinario coraggio la lotta accanita che gli mossero le società segrete, in particolare la massoneria. Ma nonostante le loro minacce e gli attentati alla sua stessa vita, non cessò mai di predicare apertamente contro tali sette, fucine di rabbioso laicismo ateo; convertì intere logge massoniche e non si stancò di mettere in guardia il popolo contro la loro propaganda satanica. Per questo era chiamato col titolo glorioso di «martello dei settari»
Ma un'altra piaga vessava lo Stato Pontificio, come, del resto, anche altre regioni: il brigantaggio. Sorto all'inizio come reazione all'occupazione francese, al fisco e alla leva obbligatoria, degenerò presto in vera delinquenza organizzata. Orde di malviventi si diedero a rapine, a vendette e a violenze, calando dai loro sicuri rifugi sui monti. Pio VII e poi i suoi successori Pio VIII e Leone XII avevano tentato di estirparne la piaga, ma senza successo. Leone XII, allora, dietro consiglio del card. Belisario Cristaldi, affidò la rischiosa impresa a Gaspare, che, con le sole armi del Crocifisso e della misericordia evangelica, riuscí a ridurre la terribile piaga nei dintorni di Roma e a riportare pace e sicurezza tra le popolazioni.