С 1802 по 1805 год руководство строительством при Адмиралтействе осуществлял Чарлз Камерон. Престарелому архитектору трудно было справиться с постоянно увеличивавшимися объемами проектных и строительных работ и следить за выполнением последних в установленные сроки. Стали подыскивать более молодого и энергичного архитектора. Задача оказалась настолько трудной, что пришлось самому министру П.В. Чичагову заняться этим вопросом. Наиболее подходящей кандидатурой он счел Захарова. В результате 25 мая 1805 года был издан указ: «Главного адмиралтейского архитектора Камерона уволить от настоящей должности, а на место его определить ведомства Академии художеств Захарова с жалованием по тысяче пятисот рублей в год…»
Зодчий разработал много проектов для городов России. Однако большинство его произведений не дошло до наших дней. А без них нельзя составить полное представление о гигантском труде архитектора. На берегах Невы не сохранились Адмиралтейские казармы. От огромного комплекса Морского госпиталя, перестроенного и расширенного Захаровым, остался, да и то с искажениями, небольшой фрагмент на Клинической улице. Не был осуществлен проект монументальных, несмотря на малую высоту, провиантских магазинов на набережной Невы против Горного института. Своеобразие авторского почерка проявилось тут в особой, только этому зодчему присущей чистоте форм, ясности пропорций, в сочетании узких проемов и широких простенков. Скульптура у входов, маски на замковых камнях – элементы принципиального для Захарова синтеза искусств.
Работая главным архитектором Морского ведомства, Захаров руководил множеством построек в адмиралтействах страны. В Петербурге им были созданы на Провиантском острове, на берегу Мойки, у устья Невы деревянные адмиралтейские конюшни на каменном фундаменте. К этой группе проектов относятся планы кадетского корпуса в Николаеве, госпиталя для Казани и несохранившегося Черноморского госпиталя в Херсоне – целого комплекса построек с двором-садом, с компактной планировкой зданий. По его проектам построены церковь во имя апостола Павла в селе Александровском недалеко от Шлиссельбурга, Андреевский собор в Кронштадте.
Реймерс в 1807 году говорил, упоминая о церкви Гатчинского дворца и проекте перестройки здания Академии наук, что «во всех его проектах видно, что этот художник имел большой талант, он обладает знаниями и достигает высоты своего искусства». Это, пожалуй, наиболее интересная из всех характеристик Захарова его почти современником. Уже в 1730-е годы Мейер в пояснительном тексте к его известному рукописному атласу о застройке Петербурга, говоря о Галерном порте, подчеркивал, что «одно имя Захарова достаточно для удостоверения, что в случае построения зданий Галерного порта по составленным им фасадам сие место сделалось бы одним из красивейших заведений столицы».
Все это так, но основным достижением его жизни является здание Главного адмиралтейства в Петербурге, которое перестраивалось, а вернее, строилось заново по его проекту. Захаров приступил к его проектированию и реконструкции с осени 1805 года. Здание Адмиралтейства Ивана Коробова, времен петровского строительства, к началу XIX века уже сильно обветшало, да и устарело по технологической, кораблестроительной части.
Как можно предположить, Захаров сам как новый архитектор Адмиралтейства пришел к мысли о перестройке всех зданий Адмиралтейства. В основе проекта перестройки Адмиралтейства Захаров оставил старый план Коробова. Корпус охватывал три стороны стапельной площадки и верфи. Фортификационные рвы вокруг были засыпаны как ненужные, и на их месте образовалась Адмиралтейская площадь. Все вроде бы оставалось на месте, и при этом все неузнаваемо изменилось. Все архитектурное оформление Захаров решил в монументальных, мощных и торжественных образах русской классики.
Широко раскинулось своим главным фасадом здание Адмиралтейства почти на четыреста метров. Его протяженность разрешена архитектурно не однообразной стеной, а тремя корпусами, поставленными в ряд, в одну линию. Боковые корпуса сделаны массивными и богато украшены фронтонами. Между ними, в средней части двухэтажного, очень простого корпуса возвышается центральная башня над проходными воротами.
Эта башня была главным украшением Адмиралтейства да и всего города в то время. Она поставлена над башней Коробова, деревянная конструкция которой была сохранена и существует до настоящего времени под новым шпилем. Высота новой башни семьдесят три метра.