В 1870 году, идя по своим поручениям в городе Отрив в южной Франции, почтальон подобрал камень. Пока он держал его в руке, форма и красота камня вдохновили почтальона Фердинана Шеваля строить великий дворец.

В течение следующих 33 лет он собирал камни на своем почтовом маршруте. Иногда только один или два, иногда он наполнял ими небольшую тележку. Покинувший школу в 13 лет, без образования в архитектуре или искусстве, 43-летний Шеваль начал строить здание своей мечты, работая по ночам под светом масляной лампы.

Дворец представляет собой смешение самых разных вдохновляющих мотивов, включая Библию, замок Нойшванштайн, индуистские святилища; в нем что-то есть и от пещеры, и от песочного замка одновременно. Также во дворце есть святыня для тачки почтальона. Шеваль хотел, чтобы его похоронили в построенном им дворце, но французские власти запретили это, и ему пришлось построить усыпальницу на находящемся поблизости кладбище. На стенах дворца написано сообщение от Шеваля миру:
“Я не строитель и не скульптор. Долото и другие инструменты неизвестны мне. Лучше даже не упоминать архитектуру, область в которой я полностью не осведомлен. Все что вы видите, прохожий, является работой одного крестьянина,  который из наивной мечты сделал королеву мира…”