Troy, che si trova attraverso il fiume Hudson da Albany, New York, era la città più grande vicino alla casa di nonna Moses a Eagle Bridge. I documenti sopravvissuti suggeriscono che, per un breve periodo prima di sposarsi, il futuro artista ha lavorato in fabbrica a Troy.