Han blev gift med sin kusine, De tjente begge i Koldkjær, Lild Sogn, da de blev gift. Umiddelbart efter vielsen flyttede de til Hjardemål Klit, hvor hendes bror Lars Larsen Diernæs var husmand. I 1880 havde de Peder Kold Nielsens niece Inger Kathrine Andrea Andersen boende som sypige. Hun blev gift med deres ældste søn. Han blev formentlig opkaldt efter sin farbror Peder Nielsen Kold, gårdmand i Vust, senere Tømmerby, som døde i 1821.