Jimmy Naganuma nasceu em Callao, Peru, em 1936, de pais Isseis. Ele tinha oito anos quando sua família foi forçada a embarcar em um navio para serem encarcerados em Crystal City, Texas, durante a Segunda Guerra Mundial. Eles permaneceram lá, mesmo depois que a guerra terminou, sem um lugar para ir. Eles puderam sair por meio de um reverendo em São Francisco, Califórnia, onde conseguiram emprego e moradia.