Olivier et son épouse, Angèle, avaient un lien de consanguinité du troisème au quatrième degré. Lors de son mariage avec Angèle, Olivier est veuf de Marie Angélique Louise Masse qu'il avait épousée le 10 novembre 1812 à La Présentation (Québec). Cette dernière était la fille mineure d'Antoine Masse, forgeron, et de Marie Louise Robichaud.