ولد جوزيف في بيترفيلد بألمانيا لأبوين غجريين. ولأسباب غير معروفة، قضى جوزيف السنة ونصف الأولى من عمره في دار للأيتام. وفي الفترة التي ولد فيها جوزيف، كان يعيش هناك في ألمانيا ما يقرب من 26000 غجري كانوا من قبائل السينتي أو القبائل الرومانية. وبالرغم من كون أغلبهم من المواطنين الألمان، إلا أنهم كانوا غالبًا ما يتعرضون للتمييز والمضايقات من الألمان الآخرين. 1933-39: بعد بلوغه العام والنصف، انضم جوزيف لإحدى الأسر التي كانت تعيش في مدينة "هالي" التي تبعد حوالي 20 ميلاً عن بيترفيلد. وفي نفس العام، وصل الحزب النازي إلى السلطة. وحينما كان جوزيف في المدرسة، كان كثيرًا ما يكون كبش فداء للدعابات التي تحدث في الفصل وعليه يتم ضربه على "سوء السلوك" كان أيضًا يتلقى الإهانات مثل "ولد غير شرعي" و"هجين" من زملائه ممن هم أعضاء في حركة شباب هتلر.
1940-44: وعندما كان جوزيف في الثانية عشرة من عمره، جاء رجلان مجهولان إلى الفصل وأخذاه من بين زملائه بحجة أنه مصاب "بالزائدة الدودية" ويحتاج إلى جراحة عاجلة. وقد قاوم، ولكنه تعرض للضرب وأخذوه بالقوة إلى الجراحة حيث أصابوه بالعقم، وهو الإجراء الذي يستمد شرعيته من القانون النازي الذي يسمح بالتعقيم القسري لمن يطلق عليهم "أعداء المجتمع" وهي فئة تشتمل على الغجريين. وكان من المقرر بعد شفائه ترحيله إلى محتشد اعتقال "بيرجن بيلسن"، ولكن أباه الذي تبناه نجح في تهريبه من المستشفى وإخفائه.
وقد نجى جوزيف من الفترة المتبقية من الحرب باختفائه لمدة خمسة أشهر في سقيفة أحد الحدائق.
