Александр Владимирович родился 19 июня 1904 году в музыкальной семье. Его мать была оперной певицей, а брат его прадеда, тоже Александр Варламов – известнейшим вокалистом и автором сотен песен и романсов. Уже с малых лет будущий джазмен умел играть на инструменте, а позже поступил в училище Гнесиных.
Когда Александру было 18 лет, он посетил первый джазовый концерт в СССР, организованный Валентином Парнахом 1 октября 1922 года. Увиденное потрясло юного музыканта. И он стал изучать принципы джазовой аранжировки. А в 1926 году Варламова вдохновило еще одно событие: в Москву впервые приехали американские джазовые музыканты — Jazz Kings барабанщика Бенни Пэйтона. Их выступление откликнулось в сердце музыканта, и он стал мечтать о создании своего оркестра.
Первым коллективом Варламова стал «Первый вокальный квартет современной эстрады» в 1930 году. Затем оркестр «Танго-джаз». Особенно внимание публики привлекло сотрудничество Варламова с певицей из США Целестиной Коол.
В 1938 году Варламов возглавил джаз-оркестр Всесоюзного радиокомитета, который принял участие в первой отечественной телепередаче. Позже Варламов руководил любительским джаз-оркестром в МВТУ им. Баумана. С 1940 по 1941 дирижировал Государственным джаз-оркестром СССР. Позднее возглавил симфоджаз при Всесоюзной студии эстрадного искусства и готовил программу к выступлениям перед американскими моряками в северных портах.
В 1943 году Александр Владимирович был арестован. После освобождения стал больше работать как композитор: ещё в 1930-е он писал музыку для первых советских звуковых мультфильмов и записывал её со своим оркестром. Именно здесь реабилитированный композитор нашёл
пристанище в 1950-е. Варламов написал музыку более чем для 50 мультфильмов, среди которых «Дикие лебеди», «Шайбу! Шайбу», «Три толстяка», «Тараканище» и другие.
Варламов всю жизнь стремился к совершенствованию исполнительской техники и ансамблевой игры и сочинил множество джазовых композиций, благодаря чему внес значительный вклад в развитие джаза в СССР.