Frederick naquit dans une famille juive de Vienne, la capitale de l'Autriche. Son père était mort lorsqu'il était bébé et sa mère et lui s'étaient installés dans un appartement avec son grand-père, veuf. Quand il était petit, Frederick fréquentait une école publique de Vienne.

1933-39 : Frederick était un gamin exubérant. Un jour, alors que son grand-père le gardait, il utilisa un abat-jour en soie comme "parachute" et sauta du haut de la penderie. Ce fut la dernière fois que son grand-père le garda. Frederick avait 13 ans quand l'Allemagne annexa l'Autriche. Craignant les nazis, la mère de Frederick, ainsi que la famille de sa tante, organisèrent leur fuite vers la Belgique via les Pays-Bas.