Видимо, среди новою поколения «русских римлян» Иванов чувствовал полное одиночество. Все лучшие друзья покинули его. Ослепший Лапченко давно уже уехал с красавицей женой, «девушкой из Альбано», на родину — на Украину. Он получил там место управляющего в одном из воронцовских имений, проявил на этом посту большую деловитость и изобрел новый способ вести бухгалтерский учет. Иванов изредка писал ему, передавая поклоны красавице супруге.

В конце 40-х годов Иванова покинул и Чижов, с которым он дружил много лет. Незадолго до того Чижов побывал на Балканах — в Истрии, Далмации и Сербии — и завязал там связи с представителями местного освободительного движения. Он помогал далматским партизанам выгружать оружие, которое те собирались пустить в ход против австрийских властей. Это стало известно последним, и они пожаловались Николаю I. Когда Чижов по случаю тяжелой болезни матери должен был поспешно вернуться в Россию, на границе его окружили агенты царской полиции и под арестом отправили в Петербург, прямо в Петропавловскую крепость. Здесь заключенный был подвергнут строжайшему допросу (один из пунктов его был: «Почему носите бороду?»). В пространном ответе, занимающем пятьдесят страниц, Чижов пытался изложить свое политическое кредо славянофила и защитника национально-освободительного движения на Балканах. Николай наложил резолюцию: «Чувства хороши, но выражены слишком живо и горячо. Запретить пребывание в обеих столицах».

Иванов все реже получал письма от неизменно ценимого им Гоголя. В них иногда звучало ласковое слово, напоминавшее о счастливых днях, проведенных вместе в трактире Фальконе или в студии. Весть о кончине Гоголя глубоко взволновала художника. Личность гениального писателя оставила неизгладимый след в памяти Иванова. Он позаботился о том, чтобы портрет его был выгравирован Иорданом, и писал об этом Жуковскому, но в ответ на письмо получил траурное извещение о смерти и Жуковского. При жизни Гоголя Иванов страстно желал иметь письма его «собственной руки», хотя иногда долгое время не решался вскрывать некоторые из них. После смерти Гоголя Иванов вклеил его последнее письмо в качестве титульного листа в одну из своих тетрадей.

Что касается самого Иванова, то в Петербурге, особенно в академических сферах, о нем уже давно сложилось самое отрицательное мнение. Его возвращения ожидали достаточно долгое время, несколько раз распространялся слух о его скором прибытии, потом все постепенно привыкли относиться к нему, как к заживо погребенному. С конца 40-х годов об Иванове ходили самые разноречивые и вздорные слухи, и оставшиеся в Петербурге родные, в частности сестра Екатерина, не щадя чувств художника, считали своим долгом сообщать ему эти слухи. Светская чернь, особенно люди, близкие к академическому начальству, упорно твердили о том, будто казна давно уже передала Иванову больше; пятидесяти тысяч рублей. По этому поводу высказывали возмущение и лицемерно восклицали: «Довольно потворствовать бесплодному художнику!» Чижову приходилось уговаривать свою «великосветскую покровительницу» графиню Бобринскую и опровергать мнение, будто Иванов «лениво провел время в Италии». Даже расположенные к Иванову люди с обидной усмешкой говорили о пресловутых «трех годах», которых ему всегда не хватало на окончательное завершение картины. Незадолго до смерти старик отец в письме к сыну Сергею недовольно брюзжит на Александра за то, что картина его «могла бы быть давно приведена к концу, если бы он ею занимался по обыкновению всех художников, не выжидая какого-то вдохновения свыше». Иордан писал Иванову из Петербурга: «На вас кричат не в пару, а в четверку: зачем не оканчиваете картину!»— и настоятельно советовал: «Имейте бодрость сказать: кончена». Теперь не было Гоголя, который по собственному опыту мог оценить взыскательность художника и оправдать его.

Одиночество Иванова скрасил только приезд младшего брата Сергея. В судьбе его Александр всегда принимал близкое участие, находясь за границей, переписывался с ним, следил за его учением, направил его на занятия архитектурой. Благодаря Александру Сергей избавился от глухоты удачной операцией, сделанной доктором Иноземцевым в Москве. Александр и позднее помогал ему советами, особенно когда тот послан был за границу и по дороге в Рим остановился в Париже. «Сердце у меня забилось от радости, — писал Иванов отцу, — при известии о том, что брат пересек границу». Александр помнил Сергея мальчиком, и когда у дверей своей студии он увидал незнакомого молодого человека с тонкими, правильными чертами лица и небольшой бородкой, художник долго не мог поверить, что это и есть тот самый долгожданный Сережа, которого почти двадцать лет назад он оставил в Кронштадте восьмилетним малышом. К брату своему Иванов почувствовал большую нежность. Братья стали жить вместе и разлучались только во время летних поездок в Неаполь. Хотя Александр не мог отвыкнуть от взгляда на Сергея, как на младенца, тот скоро оказался в роли заботливой и внимательной няньки своего старшего гениального брата. Он устраивал его дела, следил за его здоровьем, не отходил от него, чтобы предупредить какой-либо опрометчивый поступок.

Сергей не принадлежал к числу тех беззаботных молодых художников, которых ничто не занимало, кроме собственного благополучия. Не обладая творческим гением брата, он своей честной деловитостью, прямотой и благородством характера ему ничуть не уступал. Два года, проведенных в Париже в канун революции 1848 года, не пропали для него даром. Сергей хлебнул из чаши политического радикализма, усвоил многие передовые политические воззрения, о которых Александр даже и понятия не имел в своем римском захолустье. Вот почему общение с ним Александра ускорило его освобождение от старых воззрений и содействовало скорейшему переходу на сторону передовых сил. Вместе с тем у Сергея, который самые мрачные годы николаевской реакции провел в Петербурге, не было никаких иллюзий насчет возможности заключения выгодного для искусства соглашения с николаевским правительством.

Хотя Сергей не имел на то никаких отговорок, он категорически отказался от возвращения в Петербург в 1848 году, когда посольство потребовало от него, чтобы он покинул пределы революционного Рима. Недаром и впоследствии, в годы освободительной войны в Италии, он недвусмысленно выражал свои симпатии народному движению и не скрывал враждебности к обскурантам.

Помимо своего брата, Александр Иванов мало виделся с другими людьми и скоро отвык от общения с ними. Одиночество помогало ему сосредоточиться на делах искусства, содействовало его творческим успехам, помогало ему в решении своих творческих задач. В этом одиночестве было нечто от отшельничества, и на это намекал еще Гоголь, говоря о подвижничестве художника и его лишениях. Но как ни благородно было само по себе это самопожертвование художника, такая жизнь нелюдимым чудаком наложила на него отпечаток, и потому молодым художникам нетрудно было высмеять его в карикатурах. Расстроенное здоровье все больше давало о себе знать в поведении Иванова, и скоро его мнительность дошла до такой степени, что даже его самый верный друг, брат Сергей, с которым он говорил с полной откровенностью, выходил из себя, когда наступал очередной приступ.

Судьба большой картины внушала все большую тревогу. Иванов все еще считал ее недоконченной, все еще собирался ее усовершенствовать и ради этого трудился над новыми этюдами для ее первого плана. Но возможно, что об этом говорилось лишь потому, что вошло в привычку; и что ни сам художник, ни его близкие серьезно не верили в то, что картина будет когда-нибудь признана им законченной. «Могут ли быть новые способы к усовершенствованию большой моей картины, — спрашивал Иванов у одного из своих покровителей, — или уже мне должно, к стыду и величайшему моему горю, назвать ее конченою?» Охлаждение к картине, в котором признается и сам художник, наступало по мере того, как его все более увлекали библейские эскизы. Но хотя для этих эскизов Иванов обходился без этюдов с натуры, он все еще отправлялся каждое лето за город, писал пейзажи, делал зарисовки и даже начинал обнаруживать тяготение к жанровой живописи, которую в прошлом избегал. В окрестностях Рима, в Альбано, в Рокка ди Папа и других местечках, он внимательно наблюдает, как живут крестьяне, как они пашут на волах, как режут овец, как пасутся их стада. Иванов зарисовывает в альбоме невзрачный крестьянский дворик с летающими «ад ним голубями, изображает прачек за работой и тут же рядом светское общество на прогулке, изящных дам с солнечными зонтами в руках.

В Неаполе Иванова привлекает к себе быт рыбаков. Он подолгу бродил по берегу, любуясь на то, как на песке для просушки разостланы рыбацкие сети, как рыбаки хлопочут вокруг опрокинутых лодок и на таганке варят обед. Он передает их загорелые, бронзовые тела, яркие платки, которыми они повязывают головы… Иванов рисует их хижины с заостренными соломенными кровлями. Он отмечал во впечатлениях от окружающей его жизни черты величия той самой народной эпической жизни, следы которой привлекали его и в библейских легендах о пастушеских племенах и пахарях древнего Востока.