Вынужденный конец офицерской карьеры Гейдриха и его глубокое падение, как это ни парадоксально, послужили началом его головокружительного взлета. Ему было тогда 27 лет, и он был поставлен перед необходимостью начать жизнь сначала. Лишенный средств к существованию, опозоренный и деклассированный, он, что вполне естественно, соединил свою судьбу с другими подобными ему личностями, которые вынырнули со дна тогдашнего общества, выброшенные болезненными судорогами социальных противоречий. Время было трудное, и выброшенный на улицу Гейдрих перебивался с хлеба на воду, вращаясь среди отбросов общества в портовых городах Германии – Гамбурге, Любеке и Киле. Именно в Киле новоиспеченный люмпен повстречал своего старого приятеля еще по гимназии в Галле Эберштейна, который руководил одной из команд СС, используемой нацистами для разгона уличных митингов своих политических оппонентов и прочих разборок в борьбе за обладание улицей. Эберштейн предложил Гейдриху вступить в свою эсэсовскую команду, на что Гейдрих без колебаний согласился. Как ему при этом (и позднее) удалось скрыть своего предка-еврея, остается загадкой. Видимо, во многих учреждениях третьего рейха торжествовал принцип, сформулированный однажды Германом Герингом, заявившим: «В своем штабе я сам определяю, кто у меня еврей, а кто – нет!»
Как раз в это время Генрих Гиммлер занимался организацией службы безопасности внутри подразделений СС, которые, в принципе, должны были выведывать планы политических противников Гитлера.
Поначалу новая служба мыслилась Гиммлером как чисто осведомительная, а потому, узнав от Эберштейна, что Гейдрих бывший офицер службы связи флота, Гиммлер по собственной неграмотности отождествил в своем представлении службу связи с осведомительной службой и вызвал Гейдриха в Мюнхен, чтобы тот эту службу возглавил. Новая служба получила название «Зихерхайт-Динст» или СД, и, если позднее СС как организация стала считаться элитой нацистской партии, то СД считалась элитой СС.
Гейдрих оказался в нужный момент на нужном месте и уже к концу 1931 года был произведен Гиммлером в штурмбанфюреры (майоры), а в следующем году стал штандартенфюрером (полковником).
После прихода Гитлера к власти в подчинении Гейдриха оказался огромный аппарат нацистской политической полиции, куда входили СД, гестапо, уголовная полиция и многие другие службы, объединенные в Главное Имперское Управление безопасности. В 1934 году в возрасте 30 лет Гейдрих уже был группенфюрером, что соответствовало чину генерал-лейтенанта, а подчиненные ему службы контролировали каждый вздох в Германии и стремительно расширяли свою деятельность за ее пределы. Знаменитый руководитель немецкой политической разведки Вальтер Шелленберг, сменивший Гейдриха на посту начальника СД и много лет находившийся у него в подчинении, характеризовал Гейдриха как скрытую ось, вокруг которой вращался весь нацистский режим. Гейдрих высоко вознесся над своими политическими коллегами и контролировал их так же, как и разветвленную сеть разведывательной и политической службы третьего рейха.
Таким образом, приход Гитлера к власти ознаменовался и новой встречей старых знакомых: Канариса и Гейдриха, один из которых возглавлял военную разведку, а второй – политическую. Гейдрих продолжал относиться к своему бывшему командиру с большим уважением. Они поддерживали внешне самые дружественные отношения даже с некоторыми элементами фамильярности, свойственными старым знакомым. Часто совершая вместе утренние прогулки верхом, они обменивались информацией и пытались выудить ее друг от друга.
Но несмотря на то, что руководители порой говорили друг другу «ты», между службами, усиливаясь с каждым годом, полыхала смертельная война. Гейдрих считал опасной ересью подобное разделение разведок, открыто и энергично добиваясь подчинения абвера себе. В то время как Канарис, вынашивая планы государственного переворота, предусматривал устранение Гейдриха (и Гиммлера, конечно) с переподчинением разведывательных структур СС армии, т. е. себе. После разгрома Франции абвер очень разросся, имея в штате 3 тысячи офицеров, 13 центров в Германии, располагая бесчисленными филиалами на оккупированных территориях и даже собственным усиленным полком «Бранденбург».
В динамике разгорающейся войны военная разведка все более набирала силу, становясь могущественнее службы Гейдриха. Но если руководство абвера в лице адмирала Канариса и полковника Остера с каждым годом все откровенно работало на противника или, говоря мягко, против режима своей страны, то служба Гейдриха с каждым годом с возрастающим ожесточением все более втягивалась в борьбу с абвером, справедливо подозревая его руководство в делах, которые просто невозможно было охарактеризовать иначе, чем государственная измена.