3 декабря 1940 года Гитлер подписал директиву об оккупации Греции. Захват предполагалось осуществить войсками, пропущенными через территории Болгарии и Румынии. В марте Болгария и Югославия присоединилось к Тройственному пакту. Но через пять дней после подписания договора в Белграде произошел государственный переворот, и к власти пришло правительство, ориентировавшееся на западных союзников и Москву. 27 марта Гитлер срочно собрал совещание, и судьба Югославии была решена.
В ночь на 6 апреля 1941 года Югославия подписала с СССР договор о дружбе и взаимопомощи, а утром того же дня над Белградом появились германские бомбардировщики. Когда в городе запылали первые пожары, танковая группа Клейста, дислоцированная в Болгарии в составе 12-й армии, перешла югославскую границу. Уже в первый день оборона противника была прорвана. Отбросив 5-ю югославскую армию, Клейст взял направление на север. 11 апреля его танки вошли в пригороды разрушенного немецкой авиацией Белграда. Через шесть дней Югославия капитулировала.
6 мая войска 12-й армии двумя клиньями, из Болгарии и покоренной Югославии, вторглись на территорию Греции. Уже 27 мая над Акрополем развивался немецкий флаг, а танковая группа фон Клейста находилась в Афинах.
22 июня 1941 года немецкие войска вторглись на территорию Советского Союза. Группа армий «Юг» фон Рундштедта в составе трех армий и одной танковой группы наносила главный удар в направлении на Киев. В задачу группы армий «Юг» входило уничтожение частей противника в Галиции и на Западной Украине, овладение переправами через Днепр в районе Киева и дальнейшее наступление после переправы через Днепр в глубь территории СССР. Фон Клейст был назначен командующим 1-й танковой армией, которая должна была стать главной ударной силой вермахта на южном направлении.
На Украине были сосредоточены основные силы РККА. В отличие от частей фон Клюге танковая группа Клейста с первых же дней встретила ожесточенное сопротивление. Командующий фронтом маршал Буденный подтянул свежие танковые части, которые контратаковали немцев и сдерживали их продвижение. До 3 июля продолжались упорные бои. Советские войска отходили очень медленно, часто только после ожесточенных контратак вырвавшихся вперед танковых групп фон Клейста.
4 июля 1-я танковая группа достигла района западнее реки Случь, но обе армии группы «Юг» отставали, преследуя медленно отходящие части Красной армии. В итоге после 12-дневных боев группе армий Рундштедта не удалось вырваться на оперативный простор. Ее армии фронтальным наступлением теснили советские войска, которые, собрав все свои силы, снова контратаковал немецкие части и избежали широкого охвата. Красная армия, неся тяжелые потери, смогла отвести основные части за реки Случь, Западный Буг, Днестр и в район южнее Могилева. Командование и войска РККА оказались на высоте требований, которые предъявил к ним значительно более трудный, чем все предыдущие, театр военных действий. Клейста поражало количество русских танков, участвовавших в контратаках.
5 июля Клейст начал наступление на «линию Сталина» – оборонительные сооружения на старой советской границе. Прорвав укрепленные оборонительные позиции, немецкие танки через несколько дней достигли Бердичева и Житомира. Рундштедт отдал Клейсту приказ захватить Умань, но сильные дожди на несколько дней сделали дороги непроходимыми. Воспользовавшись этим, русские нанесли удары по растянутым флангам 1-й танковой группы. Прошло больше недели, пока Клейст с помощью 6-й армии смог продвинуться к Белой Церкви. Когда после этого он захотел развернуть свои танки на юго-восток, подошедшие части РККА неожиданно ударили по левому флангу, и Клейсту пришлось использовать часть сил для обороны. Только к началу августа войскам группы армий «Юг», постоянно отбивая контратаки, удалось окружить Уманскую группировку Красной армии. В котле оказались 6-я и 12-я армии.
Теперь танковая группа Клейста быстро продвигалась в сторону Кременчуга, но командование Красной армии отвело свои части из Бессарабии. К 24 августа Днепр до самого устья оказался в руках немцев.
6-я армия фельдмаршала фон Рейхенау не смогла с ходу взять Киев, натолкнувшись на мощную группировку советских войск. 22 августа Гитлер отдал приказ об уничтожении Киевской группировки противника. 2-я танковая группа, переброшенная из Белоруссии, начала наступление на юг. Через две недели танки фон Клейста вместе с 17-й армией стремительным броском из района Кременчуга вышли на соединение с Гудерианом. 19 сентября Киев был обойден и взят, и русские, находившиеся в треугольнике Киев – Черкассы – Лохвица, оказались зажаты со всех сторон. Танковые группы в ожесточенных боях отбивали все попытки противника деблокировать свои войска с востока и расчленили внутри котла окруженные армии. К 26 сентября сражение закончилось. В сводке германского главнокомандования сообщалось о пленении 665 тысяч человек, захвате 3718 орудий и 884 танков.