Вамбери родился в Венгрии, однако не мог указать точно, когда именно: для еврейской бедноты метрические записи не были обязательны. Вероятнее всего, он появился на свет в 1832 году.

Его набожный отец, в молодости умерший от холеры, остался в семейных преданиях книжником, далеким от мирских дел. Дети делили время между азбукой и сбором пиявок, которые считались первым средством при многих болезнях. Но нашлись противники кровопусканий, спрос на пиявки упал, и хрупкое благосостояние семьи Вамбери сменилось нищетой.

Арминий с детства хромал. Его лечили зельями и заклинаниями. Лечение не помогло, но Арминий не унывал.

Мать, уверенная, что в мальчугане жив дух отцовской учености, в тщеславных мечтах своих видела его доктором. Блестящие способности, особенно к иностранным языкам, помогли Арминию перешагнуть порог школы, открытой монахами.