Узнав, что беглянка находится в Швеции, Гуннхильд не могла успокоиться и послала снова своих людей к шведскому конунгу Эйрику, чтобы передать тому богатые подарки и заверения в дружбе. Взамен норвежские послы просили, чтобы он помог вернуть маленького Олафа в Норвегию, так как его хочет, якобы, взять на воспитание Гуннхильд. Но у них с этой затеей ничего не получилось. Как ни уговаривали Хакона Старого отдать ребенка, даже силой пытались отобрать, все же, в конце концов, им пришлось убраться восвояси, так и не получив требуемого.
Когда Олафу исполнилось три года, и понимая о том, что Гуннхильд их не оставит в покое, Астрид решила покинуть пределы Швеции. У нее был брат, по имени Сигурд, который много лет назад уехал в Гардарики и поступил на службу к конунгу Вальдамару (князю Владимиру Святославичу). Сигурд пользовался там большим почетом, поэтому она решила уехать туда, под защиту брата.
Как гласит сага, «когда они, Олаф и Астрид, пробыли два года у Хакона Старого, тогда собрал он их в путь с честью и передал их в руки тех купцов, которые собирались ехать на восток в Гарды». Когда вышли в море, на них напали прибалтийские викинги — эсты. Они захватили все добро и взяли в плен людей, часть из них убили. Потом все поделили, в том числе людей как рабов. Олаф оказался разлучен с матерью. Его, а также двух сопровождающих его людей взял к себе некий Клеркон, эст родом. Позже одного, Торольфа, из-за престарелого возраста убил, а мальчиков взял к себе и позже продал человеку, по имени Клерк, который, в свою очередь, продал их за плащ местному жителю Реасу. Стоит отметить, что жилось им у него хорошо, дядька добрый оказался.
Так и прожили они в стране эстов шесть лет, пока в этих краях не оказался Сигурд, сын Эйрика, брат Астрид. Он приехал из Хольмгарда (Новгорода) с большой пышностью и помпезностью, как посланец князя Владимира, для сбора податей. На рынке случайно приметил очень красивого паренька и понял, что он чужеземец. Сигурд окликнул его и спросил, как зовут, откуда он родом. Олаф назвал себя и рассказал, что отец его конунг Трюггви, а мать, которую он потерял, зовут Астрид. Тогда Сигурд понял, что мальчик его племянник. Он сходил к хозяину, выкупил мальчика и увез с собой в Хольмгард. Он никому не открыл происхождение Олафа и содержал его достойно, как королевского сына.
Однажды Олаф пришел на рынок и случайно увидел Клеркона, который убил воспитателя мальчика — старого Торольфа, тогда после захвата судна, когда они добирались в Гардарики. Олаф, не раздумывая схватил топор, ударил Клеркона по голове и раскроил череп. Сразу же убежал к своему дяде в дом. Поняв, какая опасность грозит мальчику, тот сразу отвел его в дом жены князя Владимира и попросил заступиться за несмышленыша. В Хольмгарде тогда существовал закон: всякий, кто беспричинно убивал человека, должен был быть сам казнен. Поэтому, следуя указанному закону, все население Новгорода стало искать мальчика для расправы. Тут стало известно, что он находится в доме жены конунга, где много вооруженной охраны. Сообщили князю, он быстро с дружиной окружил дом, чтобы воспрепятствовать самосуду. После переговоров было заключено перемирие, а затем назначена вира в качестве компенсации родным убиенного, и жена князя Владимира ее выплатила.
С тех пор он стал постоянно жить в доме великого князя. В те времена в Гардарики существовало еще одно строгое правило: королевские дети из других стран не могли жить в этой стране без специального разрешения великого князя. Поэтому Сигурд раскрыл тайну юного Олафа жене конунга, кто он по рождению и как сюда попал, и попросил, чтобы она сама все рассказала Владимиру. Она просила мужа помочь мальчику так убедительно, что он пообещал взять его под свою опеку.
Более того, как гласит сага, у Владимира мать была пророчицей, и многое, что она предсказывала, сбывалось. Она была уже в преклонном возрасте, когда однажды на первый вечер ойля ее принесли на кресле и поставили перед троном князя. И прежде чем люди стали пить, спросил конунг свою мать, не видит ли она какой угрозы, нависшей для государства или покушения на его владения. Она сказала, что не видит ничего такого, что могло бы принести вред стране или самому князю. Но видит она видение прекрасное, что родился в это время сын конунга в Нореге (Норвегии), и он будет воспитываться у него в Хольмгарде. Станет он замечательным мужем и не причинит вреда их стране, а напротив, многое даст. А затем он в молодом возрасте вернется в свою страну, завладеет ею по праву от рождения и будет норвежским конунгом, и «многим он будет спасителем в северной части мира». Но только короткое время продержится он у власти в Норвегии… Затем пророчица замолчала.