Наверное, он вложил столько надежд в свои замыслы, так был уверен, что добьется успеха и перед ним раскроются в России перспективы творчества, не омраченного гонениями и недоброжелательством, что любые неприятности раздражали его и приводили в отчаяние.
Камерон, насколько можно судить по документам, на протяжении пяти лет своей наиболее активной деятельности в Царском Селе совершенно не считался ни с какими финансовыми соображениями: платил подрядчикам то, что они запрашивали, а иногда вообще не платил, требовал дорогих материалов, выписывал из-за границы мебель, разные украшения для дворцовых залов и часть их не принял, добиваясь высшего качества, заставлял по несколько раз переделывать одну и ту же работу и т д. Он был увлечен своими замыслами и, как писал сам, стремился лишь к тому, «чтобы привести дело в настоящую совершенность», не думая о том, как бы сделать дешевле. Это не устраивало Екатерину II. Она заставила Камерона перенести еще один тяжкий удар, снова разрушивший его иллюзии, подобный тем, что уже пришлось ему переживать в Англии.
По ее приказу была назначена специальная комиссия для расследования деятельности Камерона. Началось разбирательство, продолжавшееся несколько лет. В течение этого времени ему практически не давали новых заказов. Хотя комиссия никаких особенных проступков, в конце концов, не обнаружила и в вину Камерону ничего существенного, кроме неаккуратности, поставлено не было, но мастер утерял свою прежнюю горячность и стремление к работе. Это неудивительно; многие месяцы ему приходилось отвечать на бесконечные запросы, часто вызванные неразберихой в конторе строений села Царского, а то и забывчивостью императрицы.
Камерон все же остался в Царском Селе, хотя на рубеже 1780—1790-х годов ему поручали очень немногое. В августе 1791 года он уехал в Англию, «получив временный отпуск с тем, чтобы возвратиться к своим строениям». На родине архитектурный мир встретил Камерона неприязненно, хотя и было признано, что «он достиг высокого положения в чужой стране». Его кандидатура в ходе избрания членов создавшегося тогда архитектурного общества была отвергнута, причем распространились неприятные для зодчего слухи о его прошлом. Камерон вновь покинул Англию. Тем не менее поездка укрепила его положение придворного архитектора. Возможно, возникли опасения, что зодчий может однажды уехать и не вернуться.
В начале 1790-х годов он развивает комплекс терм: создает пандус, ведущий к Агатовым комнатам, в 1792 году проектирует вторую галерею – «Храм памяти», посвященный турецким войнам, который должен был предшествовать пандусу и встречать движение от Гатчинских ворот триумфальной аркой. В 1795 году зодчий создает проект крошечной домовой церкви сзади Агатовых комнат, впоследствии возведенной И. Нееловым со значительными изменениями.
Комиссия от строений села Царского чинила ему разнообразные препятствия. Якобы было потеряно письмо зодчего с перечислением материалов для Храма Памяти, которые следовало запасти для возведения, и строительство затянулось почти на год. Трудно предположить, чтобы подобные события могли «окрылить» архитектора. Тем важнее для нас то, что выходило за рамки официальной деятельности мастера – характер его частной жизни, каким он стал в России.
Камерона сразу по приезде поселили во флигеле, пристроенном к царскосельской оранжерее. Квартира архитектора была довольно просторной. Отдельный вход вел в вестибюль, откуда направо доступ был в собственные комнаты Камерона, а налево – в несколько смежных помещений, вытянувшихся вдоль стены оранжереи, где располагалась его чертежная. Из квартиры легко можно было пройти в оранжерею, где стояли в кадках более сотни апельсиновых деревьев. Скорее всего, для одинокого архитектора было немаловажно то, что на другом конце здания в симметрично расположенном флигеле жил английский садовник Д. Буш, создатель многих частей царскосельских парков, и его дочери.
В мае 1784 года Чарлз Камерон сделал предложение Екатерине Буш и женился на ней. В это время его окружали ученики, правда, часто менявшиеся, но все же зодчий постоянно работал вместе с несколькими молодыми людьми. Среди них были будущие архитекторы и строители: Иван Ростовцев, Павел Лукин, Александр Шмидт, Федор Уткин, Николай Рогачев и другие. Кажется, что с одиночеством и жизненными трудностями было покончено. Однако вспомним, что женился Камерон за два месяца до того, как была учреждена комиссия, разбиравшая его деятельность. Спокойствие вновь оказалось недолговечным.