Senonchè la torre rovinò, mentre la stava costruendo; ed egli allora la sostituì con un romitaggio ed una chiesetta, fondando dapprima la S. Lega della Fratellanza Cristiana, quindi la Società delle Famiglie Cristiane, in forma d'associazioni religiose, più o meno comuniste, contro cui non tardarono a reagire gli interessi privati, cosicchè nel 1873, l 'asceta, trovandosi in gravi difficoltà economiche, stabiliva d'emigrare in Francia.