Remy nació de padres católicos en un pequeño pueblo francés. En 1913, después de estudiar abogacía en la Universidad de Paris, se incorporó a la casa editorial Tallandier en Paris. Durante la Primera Guerra Mundial sirvió en el ejército francés y fue herido cinco veces. Volvió a trabajar con Tallandier después de la guerra y en 1919 se casó con Germaine Tallandier, la hija del propietario. Tuvieron cinco hijos que criaron como católicos devotos.

1933-39: En 1935 Remy fue elegido hizo alcalde de Avon, un pueblo pequeño 35 millas al sureste de Paris. Remy estaba orgulloso de su pueblo, que era famoso por su palacio real y el bosque cercano a Fontainebleau. Un francés firmemente patriótico, desconfiaba de Alemania después del ascenso al poder de Hitler en 1933.