Идею создания такого общества Василий Николаевич продвигал целых десять лет. Первое учредительное собрание Общества, созданного для помощи православию на Святой земле и русским паломникам, состоялось 21 мая (3 июня) 1882 года в День памяти святых равноапостольных императора Константина и матери его Елены.
В. Н. Хитрово был родом из Санкт-Петербурга, где и похоронен. Но на Святой земле он прославил Москву – во многих городах исторической Палестины есть целые районы, которые до сих пор называют Москобия. В Москве действовали уполномоченный представитель ИППО и Московская комиссия по кружечному сбору в пользу православных Иерусалима и Святой земли. Затем 7 (20) октября 1907 года был создан Московский отдел ИППО. Первоначально его возглавлял митрополит Владимир (Богоявленский), в 1992 году прославленный в лике святых. Товарищем председателя был епископ Серпуховский Анастасий (Грибановский).
Через 110 лет со дня основания Общества – 25 мая 1992 года Верховный Совет Российской Федерации принял постановление о восстановлении исторического наименования Императорского Православного Палестинского общества и рекомендовал Правительству России принять необходимые меры по возвращению ИППО его имущества и прав. Большое значение для укрепления авторитета Общества имела восстановленная в начале 1990-х годов связь с Русской Православной Церковью. Патриарх Московский и всея Руси Алексий II принял Палестинское общество под своё непосредственное покровительство и возглавил Комитет почётных членов ИППО.
В 2003 году Общество было зарегистрировано Минюстом Российской Федерации в качестве неправительственной общественной самоуправляемой организации и признано правопреемником исторического ИППО.
Двадцать пятого ноября 2011 года в Большом зале Центрального дома учёных РАН собрались действительные члены воссозданного Императорского Православного Палестинского общества, проживающие в Москве, на первое организационное собрание Московского отделения ИППО. Председателем Московского регионального отделения Общества был избран С. Л. Байдаков, префект Центрального административного округа города Москвы.
Именно Сергей Львович выступил с инициативой установки бюста инициатору и вдохновителю Общества В. Н. Хитрово. В юбилейный день 3 июня 2012 года у здания Центра Общества на улице Забелина памятник открыл председатель ИППО Сергей Вадимович Степашин.
С. Л. Байдаков в своём выступлении отметил заслуги В. Н. Хитрово в создании Императорского Православного Палестинского общества и высказал слова благодарности его выдающейся деятельности на поприще содействия православию на Святой земле.
Заместитель председателя ИППО историк Н. Н. Лисовой рассказал собравшимся о личности В. Н. Хитрово. Чиновник Морского министерства, а затем Министерства финансов, он в 1871 году впервые совершил паломничество на Святую землю, в Палестину. Пообщавшись со многими простыми русскими поклонниками, как в те времена было принято называть паломников, он понял, что православная русская душа находит высший смысл бытия в Иерусалиме, у Гроба Господня. Всю свою дальнейшую жизнь Василий Николаевич положил на то, чтобы облегчить простым русским людям путь к святым местам. Благодаря ему тысячи русских людей смогли совершить паломничество к евангельским местам Святой земли.
Автор памятника скульптор А. И. Рукавишников, народный художник России, отметил, что ещё тридцать лет назад нельзя было представить, чтобы в России увековечивали память таких личностей, как Василий Николаевич Хитрово. «Горжусь тем, что мне повезло быть автором бюста», – сказал Александр Иулианович.
