Lors de son mariage avec Rose-de-Lima, Joseph est veuf de Marie Dumont qu'il avait épousée en secondes noces le 23 juin 1896 en l'église de Saint-Jean-de-Dieu, comté de Rivière-du-Loup (Québec). Le célébrant a inscrit dans l'acte de mariage que Joseph est de cette paroisse Saint-Jean-de-Dieu (Québec). Marie Dumont était la fille de David Dumont et de Marie Lizotte.
Joseph avait épousé en premières noces, le 27 juillet 1891, Marie Lepage en l'église Saint Hyacinth à Westbrook (Maine) dans le comté de Cumberland. Marie Lepage était la fille de Louis Lepage et de Marie Thibault.
D'après son acte de mariage en troisièmes noces avec Rose-de-Lima, il habite la paroisse de Trois-Pistoles (Québec).
Après le décès de Rose-de-Lima, Joseph épousera en quatrièmes noces Florida Otis le 27 juin 1910 en l'église de Sainte-Félicité, comté de Matane (Québec). Elle était la fille de Pierre Otis et de Caroline Labrie.