Fritz era uno de tres hijos nacidos a una familia judía en la ciudad universitaria de Goettingen, donde los Rosenberg habían vivido desde el siglo XVII. Su padre era dueño de una fabrica de lino. Fritz trabajaba de vendedor ahí, y luego él y sus hermanos heredaron el negocio. En 1913, Fritz se casó con Else Herz. Al principió de los años veinte, tenían dos hijos y una hija.

1933-39: En 1933 los nazis subieron al poder en Alemania. Un año después la fabrica de los Rosenberg fue expropiada y tres nazis vinieron a la casa de la familia. Un oficial puso una arma sobre la mesa y informó a Fritz que si no se iban en una semana, ellos y sus muebles serían tirados por la ventana. Dentro un mes, la familia se mudó a Hamburgo. Con el apoyo del tío de Fritz, la familia se quedó en Hamburgo hasta que la guerra estalló en el otoño de 1939.