Обосновавшись в Петербурге, Давыдов занял прочное и высокое по тому времени положение. Ему было «высочайше» пожаловано звание солиста двора, титула которого удостаивались только самые выдающиеся музыканты.
Давыдов почти не выезжал за границу с концертами. Исключение составляют две поездки: в Германию и Францию (зимний сезон 1867–1868 годов) и в Бельгию, Голландию (начало 1873 года). Обе концертные поездки сопровождались триумфальным успехом.
В России как солист Давыдов выступал тоже нечасто. Сольной концертной деятельности он предпочитал камерную квартетную. По мнению Л.С. Гинзбурга, причина этого в бедности виолончельного репертуара.
Если мастеру попадалось подлинно художественное произведение, то Давыдов выступал охотно. Так, он явился первым пропагандистом в России концертов Р. Шумана и К. Сен-Санса. Крупным событием русской музыкальной жизни стало исполнение Давыдовым концерта Шумана в Петербурге 2 ноября 1869 года. Чтобы обогатить концертный репертуар виолончелиста, Давьщов переложил для виолончели много пьес Бетховена, Шопена, Шумана.
Впрочем, широта и многогранность творческой личности Давыдова были поистине безграничны. Он проявляет себя как дирижер, увлекается общественной деятельностью и даже… коммерческой, входя с 1874 и по 1876 год в состав дирекции Общества Брянского рельсопрокатного, железоделательного и механического завода.
Давыдов владел тремя иностранными языками, был блестящим математиком, механиком.
В квартире у него долго стояла модель железнодорожного моста, им лично рассчитанного. Карл Юльевич интересовался и ботаникой.
С 1867 года Давыдов возглавлял Петербургскую консерваторию в качестве ее директора. Давьщов находился в первых рядах поборников музыкального просвещения.
Он был великолепным педагогом, создателем виолончельной школы, блиставшей такими именами, как А.В., Вержбилович, Ф. Муперт, А. Кузнецов, Н. Логавовский, Д. Взуль, В. Гутор, и многими другими. Можно смело сказать, что Ауэр также много воспринял от Давыдова, разрабатывая свои педагогические принципы.
Стремясь дать профессиональную выучку как можно большему количеству музыкантов, Давьщов резко увеличил число учащихся. Для беднейших учеников он ввел многочисленные льготы и увеличил количество бесплатных стипендий, а также устроил для них общежитие.
Своими действиями Давьщов вызвал недовольство в реакционно настроенной дирекции Русского музыкального общества, которой подчинялась консерватория.
В конце концов, Давьщов не смог дальше оставаться на посту директора консерватории и в январе 1887 года подал в отставку.
Реакционные круги приняли отставку Давьщова с нескрываемым удовлетворением. В газете «Новое время» появилась пасквильная заметка: «Директор консерватории г. Давьщов исчез из консерватории. Что его побудило к этому, какая музыка, какой романс или какой голос — об этом распространяться не станем. Скажем только, что он хорошо сделал, что сложил с себя это звание, ибо консерватория под его управлением только падала и падала, и принимала несколько еврейское и притом вообще лицеприятное направление».
Уход из консерватории тяжело сказался на Давыдове. Ко всему прочему ему пришлось полностью перестроить жизнь и вернуться к концертной деятельности. Может, это не было бы таким страшным, если бы не плохое здоровье. Карла Юльевича мучили приступы грудной жабы.
Давыдов концертирует по городам Германии, Италии, выступает в Вене, Варшаве. После окончания гастролей он поселяется в Москве. Осенью 1887 года вместе с известным русским пианистом и дирижером В.И. Сафоновым он совершает большое турне по центральным и южным областям России, а затем после короткого перерыва вновь едет в Германию. Его игра вызывает восторженные отзывы.
Талант Давыдова в зените зрелости. «Успеха имею не меньше, чем в России, — писал Давьщов, — во Франкфурте термометр в публике был не ниже, чем в Харькове, Одессе, Киеве, но с той разницей, что сзади сидит оркестр в 100 человек, зала с 2500 человек публики, а в ней на первом ряду сидят — м-м Шуман, дочь Хиллера, Косман, Шольц и много других (Штокаузен) знаменитостей».
В ноябре 1888 года Давьщов последний раз посетил Петербург. Зиму музыкант провел в Москве. В январе у него случился сильный приступ грудной жабы, а 14 февраля 1889 года Карл Юльевич скончался.
«Как человек, — писалось в некрологе, — это был представитель избранной, тонкой, благородной натуры, которой снисходительное отношение к окружающим личностям, способность все хорошо понимать, а следовательно, и многое извинять, часто принимали за отсутствие сильного характера». Насколько светлую память оставил после себя Давыдов, можно судить по тому, что на его похороны в Москву был послан от низших служащих Петербургской консерватории старик-швейцар, с тем, чтобы возложить на его гроб венок.