L'armée allemande apportait un soutien logistique aux Einsatzgruppen, en leur fournissant approvisionnement, transport et logement. Au début, les Einsatzgruppen abattirent surtout des hommes juifs. Mais très vite, à partir du mois d'août 1941, leurs membres abattirent les aussi les femmes et les enfants juifs sans distinction d'âge ni de sexe, et les enterrèrent dans des fosses communes. A partir de la fin du mois de juillet 1941, des bataillons de la police d'ordre, sous le commandement de dirigeants de haut rang des SS et de la police récemment nommés dans les territoires occupés d'Union soviétique, lancèrent des opérations d'annihilation systématique des principales communautés juives.

Les Einsatzgruppen qui suivirent l'armée allemande en Union soviétique étaient répartis en quatre groupes opérationnels de la taille d'un bataillon chacun. L'Einsatzgruppe A s'occupait de la zone allant de la Prusse orientale en direction de Leningrad, et couvrant la Lituanie, la Lettonie, l'Estonie et d'autres territoires. L'Einsatzgruppe A massacra des Juifs à Kovno, Riga et Vilno. La zone de l'Einsatzgruppe B partant de Varsovie, en Pologne, et s'étendait en Biélorussie en direction de Smolensk ; cet Einsatzgruppe massacra des Juifs entre autres à Grodno, Minsk, Brest-Litovsk, Slonim, Gomel et Mogilev. La zone de l'Einsatzgruppe C débutait à Cracovie et Rzeszow (en Pologne occupée) et s'étendait en Ukraine en direction de Kharkov et de Rostov-sur-le-Don. Ses membres orchestrèrent des massacres à Lvov, Tarnopol, Zolochev, Kremenets, Kharkov, Kiev et ailleurs. De ces quatre unités, l'Einsatzgruppe D était celui qui opérait le plus au sud. Ses membres se livrèrent à des massacres dans le sud de l'Ukraine et en Crimée, en particulier à Nikolayev, Kherson, Simferopol, Sébastopol et Feodosiya.