大山倍达於1923年生於南韩的一条村庄。9岁时在其姊居於满州的农场内，首次接触到武术，并学习到中国南方拳法“十八手”。1938年，15岁的大山移居日本，并加入日本空军之列，成为空军飞行员。其时，他开始接受柔道和拳击的训练。後来，他跟随松涛馆空手道创立人船越义珍学习冲绳空手道。醉心武学的大山，进步神速，17岁时已取得松涛馆空手道黑带二段，20岁时更考获四段之佳绩。同时， 20岁的他亦成柔道黑带四段之高手。
二次世界大战後，日军投降。就像其它日本年青人一样，大山陷入绝望之中。他从绝望中跟随著刚柔流空手道大师曹宁柱学习空手道，曹宁柱以其惊人的力量和精神意志而闻名，对年青的大山倍达有著极具深远的影响。他鼓励大山应一生献身於武道，并建议他离开文明的人类社会去进行肉体及精神上的隐居修鍊。这时，大山接触到吉川英治之著作「宫本武藏」，他从书里学习到剑圣宫本武藏之武士道精神，自此这本著作就成为他心灵上的导师。