Ивао Ояма родился в княжестве Сацума, ныне префектура Кагосима. Происходил из древнего самурайского рода, принадлежностью к которому очень гордился. Целью своей жизни избрал ревностное служение микадо — японскому императору на военном поприще, что было семейной традицией в роду самураев Ояма. К карьере военного человека его начали готовить с детства.

Благодаря своим способностям, Ивао Ояма быстро выдвинулся в японской императорской армии. После буржуазной революции 1867-1868 годов он сыграл важную роль в создании, по сути дела, новой армии Японии по образцу европейских. Ояма относился к числу тех военачальников, которые понимали, что дальнейшая самоизоляция страны ведёт к ослаблению её военной силы и роли в мировом сообществе, особенно в Тихоокеанском регионе, в котором Япония всегда претендовала на роль лидера.

Высшее командование императорской армии рано обратило внимание на способного молодого офицера. Он на несколько лет был командирован в Европу для изучения организации армий её стран, знакомства с их современным боевым опытом, налаживания связей среди европейского командования и, разумеется, сбора разведывательных данных о своих возможных противниках.

Во время франко-прусской войны 1870-1871 годов потомок самураев находился при прусских войсках, которые разгромили французскую армию и осадили Париж. Ивао Ояма смог досконально изучить тактические приёмы прусских полководцев, оценить их военное искусство и реформаторскую деятельность в армии генерала Мольтке-старшего.