Вадим Борисовский родился 7 (19 января) 1900 года в Москве. Он происходил из богатой купеческой семьи: его дедом по материнской линии был «водочный король» Пётр Смирнов, отцом ― табачный фабрикант Василий Бостанжогло. Музыкой ― игрой на фортепиано и скрипке ― начал заниматься в раннем детстве. Получив гимназическое образование, блестяще владел несколькими современными и древними языками, по настоянию матери начал изучать медицину в университете, но втайне продолжал заниматься музыкой