В 1943 году Шилов попал в Венскую тюрьму. (Впоследствии на допросе в Отделе НКГБ СССР по борьбе с бандитизмом он показал, что в тюрьму его посадили после попытки побега из лагеря военнопленных, однако этот факт ничем не подтвержден.) В июне 1943 года Шилова вызвали офицеры гестапо, назвавшиеся Байером и Тельманом, и предложили сотрудничать с германской разведкой. Без всяких душевных колебаний Шилов согласился. В августе 1943 года он был переведен из Венской тюрьмы в специальный лагерь СД близ города Зандберг и зачислен в особую команду (зондеркоманду).
Зондеркоманда состояла из 23 агентов германской разведки, намеченных для активной работы на территории СССР. В конце августа 1943 года Шилов был доставлен в Берлин к оберштурмбаннфюреру (подполковнику) СС Грейфе, который расспрашивал о его прошлом, выяснял причины, побудившие дать согласие на сотрудничество с германской разведкой. Грейфе рассказал о заданиях, которые придется выполнять на территории СССР — разведка, диверсии, террор, — и предложил подумать, что из этого больше устраивает Шилова, заявив, что снова вызовет его из лагеря в Берлин.
Шилов вернулся в Зандберг. Там произошла вторая встреча, окончательно решившая его судьбу. В начале сентября в лагерь приехали Власов и Жиленков, уже ставший его заместителем. Целью приезда была передача немцам отряда, сформированного из белогвардейцев и военнопленных, для участия в боях в Югославии. После «парада» Жиленков бродил по лагерю и беседовал с военнопленными. Шилов подошел к нему и они разговорились. Шилов рассказал, что согласился работать на германскую разведку и зачислен в зондеркоманду. Жиленков одобрил его поведение, заявив: «Наконец-то я увидел тебя там, где ты должен быть давно». В ходе дальнейшего разговора Шилов рассказал о том выборе, который предложил ему Грейфе.
Выслушав Шилова, Жиленков, чуть не брызгая слюной, в самых резких выражениях стал высказываться о советском правительстве и доказывать, что сейчас самой важной задачей является убийство Сталина, так как за этим последует развал Советского государства. Он горячо рекомендовал Шилову принять задание по террору и обещал по прибытии в Берлин принять необходимые меры для переброски Шилова в СССР. Сделав какие-то заметки в записной книжке, он вместе с Власовым уехал.
А вскоре Шилов вновь был вызван к Грейфе. Это было 4 или 5 сентября 1943 года. Грейфе вновь подробно расспрашивал Шилова о прошлом и причинах, по которым он выбрал задание по террору. Шилов сослался на рекомендации Жиленкова. После этого Грейфе предложил Шилову разработать и представить в письменном виде план совершения террористического акта. Для этого Шилова поселили в одной из гостиниц. В тот же день к нему приехал Жиленков, которому Шилов пожаловался на трудности в составлении плана. Жиленков увез Шилова к себе на квартиру и, как опытный аппаратчик, сам быстро составил план и предложил Шилову лишь переписать его. Большая часть плана состояла из антисоветских и антисталинских выпадов, доказывающих необходимость устранения Сталина, затем было указано, что теракт должен быть совершен путем проникновения на какое-либо торжественное заседание. Переписав план, Шилов лишь добавил, что ему нужны 500000 рублей, документы и пистолеты.
На следующий день Шилов вручил план Грейфе. Тот одобрил его и направил Шилова в распоряжение начальника команды «Цеппелин» («Норд») майора Отто Крауса, в город Псков, куда Шилов и прибыл 23 сентября 1943 года. В Пскове он занимался физической подготовкой и тренировался в стрельбе. Там же он использовался как агент-провокатор по выявлению советских партизан и подпольщиков.
6 ноября 1943 года Шилова вновь вызвали в Берлин. Грейфе интересовался, как идет подготовка, и дал указание ускорить ее завершение. Шилову объявили, что из Пскова он будет переведен в Ригу, так как в Пскове якобы слишком много советской агентуры, которая может узнать о подготовке Шилова к переброске за линию фронта. 5 декабря Шилов прибыл в Ригу, куда вскоре в связи с обстановкой на фронте была переброшена вся команда «Цеппелин».
В это время в жизни Шилова произошли два события. Во-первых, у него появилась жена — Шилова (Адамчик) Лидия Яковлевна, двадцатиоднолетняя дамочка неизвестного происхождения и профессии. Она была предложена ему германской разведкой в качестве напарницы-радистки, подготовленной командой «Цеппелин». Агенты понравились друг другу, и у них началась семейная жизнь.