El mayor de dos hermanos nacidos de padres judíos alemanes, Siegfried creció en la ciudad de Frankfurt. Al completar su educación, se licenció como contador público en Frankfurt. En su tiempo libre trabajaba como crítico de música independiente. En 1932, mientras estaba de vacaciones en la isla de Norderney en el Mar Norte, conoció a Herta Katz, una señorita de quien se enamoró rápidamente.

1933-39: Los nazis habían despedido a Siegfried de su puesto en el gobierno porque era judío. Aunque su madre se oponía al matrimonio, Siegfried se le declaró a Herta y ella aceptó. Se casaron en junio de 1933. En 1934, se fueron a Ámsterdam, donde Siegfried consiguió un trabajo. Herta dio a luz a una hija y comenzó un próspero negocio de decoración de interiores. Justo antes del estallido de la guerra en 1939, los padres de Siegfried también se mudaron a Ámsterdam.