Но, когда северная миссия была предложена Ансгарию, он сразу же дал согласие, хотя многие старались отговорить его. В сотоварищи ему вызвался другой монах — Аутберт. Однако миссионеры не смогли найти ни одного слуги, который пожелал бы последовать за ними. Действительно, поначалу их положение казалось очень незавидным. Сам Харальд не проявлял к монахам никакой почтительности и обращался с ними пренебрежительно. Но когда они спустились вниз по Рейну до Кельна, епископ этого города из сострадания подарил Ансгарию и Аутберту небольшой корабль с двумя каютами. Харальд пожелал занять одну из них и таким образом пришел в более тесные отношения с миссионерами. Каждый день общаясь и разговаривая с ними, он в конце концов почувствовал интерес к их предприятию.
Так что на месте все оказалось не так плохо, как могло показаться в момент отъезда из Германии. Центром своей миссии Ансгарий избрал Гадеби на берегу Шлея, против Шлезвига. Здесь он устроил церковь и школу для мальчиков, причем ученики отчасти отдавались ему, а отчасти покупались им с целью воспитания их в христианской вере.
К несчастью, Харальд своим почтением к императору Людовику и своей переменой религии возбудил вскоре сильное негодование среди датчан. В 829 г. подданные восстали против него. Харальд вынужден был бежать во Фризию, после чего Ансгарию также пришлось уехать из Гадеби. Но его миссионерство этим не кончилось. В том же году к императору Людовику Благочестивому явились послы из другого скандинавского государства — Швеции. Они сообщили, что их соотечественники благоприятно расположены к христианству и просили дать им учителя. Ансгарий, которому предложена была эта миссия, немедленно согласился. После многих приключений он прибыл в шведскую столицу Бирку, где король Бьерн разрешил ему свободно проповедовать евангелие. Среди первых обращенных Ансгарием был Геригар, правитель округа, который построил на своей земле церковь.
С успехом потрудившись полтора года, Ансгарий возвратился на родину с письмом от Бьерна к Людовику. Император был весьма доволен его успехами и решил поставить северную миссию на новую ногу. Он уговорил папу Григория IV назначить Ансгария в 831 г. архиепископом Гамбургским, в метрополию которого входили все скандинавские и славянские государства Северной Европы. А чтобы помочь миссии в ее непростых трудах, требовавших больших расходов, Людовик передал в полное распоряжение Ансгария богатый Тургольдский монастырь в Западной Фландрии. Доходы от него сделались потом главным финансовым источником Ансгария, получившим таким образом возможность раздавать щедрые дары местным правителям. Затем Ансгарий отправился в Рим и был милостиво принят папой, который удостоил его буллой и уполномочил обращать северные народы.
Следующие четырнадцать лет прошли в трудах. Пользуясь поддержкой императора, Ансгарий построил в Гамбурге церковь, монастырь и коллегию. Число обращенных среди норманнов с каждым годом увеличивалось. Но затем войны и внутренние смуты едва не свели на нет весь достигнутый им успех. В 845 г. Гамбург был захвачен и сожжен ютландским королем Эриком. Ансгарий, враз лишившийся всего, должен был бежать, спасая свою жизнь. Тем не менее, несмотря на бедственность положения, он не потерял присутствия духа и повторял вслед за Иовом: «Господь дал, Господь взял; благословенно имя Господне!» Убежище он нашел в Рамсло у одной вдовы по имени Икия. Мало-помалу сюда собрались некоторых из его уцелевших последователей.
Единой Франкской империи к этому времени уже не существовало: после смерти в 840 г. Людовика Благочестивого, она была поделена между тремя его сыновьями.
Тургольдский монастырь оказался во владениях французского короля Карла Лысого, который передал его одному мирянину. Но Ансгарий нашел поддержку у другого сына покойного императора — Людовика II Немецкого, который провозгласил его бременским епископом, оставив в то же время в его руках архиепископство гамбургское. В 848 г. это соединение диоцезов признал собор менцских епископов.
Материальное положение миссии быстро поправилось, а затем возобновилась ее деятельность по обращению язычников. Ансгарию удалось приобрести большое влияние на своего прежнего врага, ютландского короля Эрика, который хотя и не крестился сам, но позволил ему проповедовать в своих владениях и построить церковь в Шлезвиге. Датские торговцы, принявшие до этого крещение в Гамбурге или Дорштадте, получили возможность открыто исповедовать христианство. В то время как в Дании дела шли таким образом, Швеция в течение нескольких лет оставалась без христианского учителя. Ансгарию удалось отправить в эту страну священника и отшельника по имени Ардгар. Он проповедовал с большим успехом, но потом вновь удалился в отшельничество. Сменивший его монах Гауберт не понравился норманнам и был с позором изгнан из страны. Тогда Ансгарий решил сам продолжить его дело. По сути, ему пришлось все начинать сначала. Шведы, изгнавшие Гауберта, в большинстве своем были настроены к христианству очень враждебно. И хотя король Олав не имел ничего против новой религии, он должен был считаться с настроениями своих подданных. Решение о судьбе миссии было отдано на суд народного собрания — бросили жребий, и он оказался в пользу допущения христианских учителей. После этого шведы смягчились. Благосклонность к новой религии еще усилилась чудесами, свершившимися во время экспедиции Олава в Курляндию. Отовсюду стали стекаться обращенцы, строились церкви, и Ансгарий нашел возможность возвратиться в Данию, оставив во главе шведской миссии своего помощника Гумберта.