В 1934 году на Ижорском заводе под руководством А. Д. Кузьмина была построена новая модель пушечного бронеавтомобиля, базой для которой послужил трехосный бронеавтомобиль БА-И. В июне опытный образец с корпусом из неброневой стали проходил испытания на НИБТ Полигоне УММ РККА в подмосковной Кубинке. Основываясь на результатах испытаний, комиссия рекомендовала улучшить систему охлаждения двигателя и усилить переднюю подвеску.
В остальном серьезных недостатков замечено не было, требовалось внести лишь ряд мелких изменений в компоновку внутренних агрегатов. Как следует из заключения комиссии, «бронеавтомобиль показал хорошие качества, необходимые для боевой машины и вполне пригоден для оснащения РККА». Бронеавтомобиль был выполнен по классической компоновочной схеме с передним расположением двигателя, передними управляющими колесами и двумя задними ведущими мостами.
Клепано-сварной бронекорпус, выполненный по классической компоновке, незначительно отличался от корпуса базовой машины: на 50 мм была удлинена корма, в моторном отделении появились окна для выхода воздуха, была укорочена подножка и на задних крыльях предусмотрены крепления для вездеходных гусеничных цепей. Бронелисты из 9-мм катаной стали были установлены с рациональными углами наклона, что повышало пулестойкость бронировки и, соответственно, степень защищенности экипажа. Для посадки экипажа в бортах средней части корпуса и в корме имелись прямоугольные двери. Крепление корпуса на шасси «Форд-Тимкен» осуществлялось с помощью 10 кронштейнов, которые через резиновые прокладки привертывались болтами к лонжеронам шасси.
Слева в отделении управления, расположенном за моторным отсеком, находилось сиденье водителя, справа — стрелка, обслуживавшего 7,62-мм пулемет ДТ установленный в скошенном лобовом листе корпуса. Обзор водителю обеспечивало лобовое окно, оборудованное откидной бронекрышкой с узкой смотровой щелью, и небольшое прямоугольное окно аналогичной конструкции в двери левого борта. Такое же окно имелось и в правой двери со стороны пулеметчика.
За отделением управления на крыше боевого отделения была установлена новая башня кругового вращения, являвшаяся главным отличием бронемашины БА-3. По конструкции и вооружению она была аналогична башне танка Т-26, но имела более скромную бронировку, согласно альбому «Бронемашины» НИБТ Полигона ГБТУ КА от 1944 года — 8 мм, согласно «Временному краткому описанию бронеавтомобиля БА-3» того же НИБТ Полигона от октября 1934 года — 9 мм. В качестве основного вооружения в башне в цилиндрической маске были установлены 45-мм пушка 20К образца 1932 года и спаренный с ней 7,62-мм пулемет ДТ.
Возимый боекомплект, в состав которого входили 60 выстрелов и 3402 патрона размещался частично в башне, а частично в корпусе бронеавтомобиля. В нише башни располагались два сотовых стеллажа на 40 снарядов, вдоль бортовых стенок башни имелись гнезда на 12 снарядов и вдоль стенок бронекорпуса в боевом отделении еще на 8. В четырех стеллажах в башне и корпусе размещались 53 магазина для пулеметов ДТ. Для ведения прицельной стрельбы в распоряжении наводчика имелись телескопический прицел ТОП образца 1930 года и перископический панорамный прицел ПТ-1 образца 1932 года.
В моторном отсеке бронемашины был установлен четырехцилиндровый рядный карбюраторный двигатель жидкостного охлаждения «Форд-АА» с рабочим объемом 3230 см3, развивавший мощность 29,4 кВт при 2200 об/мин, что позволяло бронемашине с боевой массой 5,82 т двигаться по дорогам с твердым покрытием с максимальной скоростью 70 км/ч, при езде по сухой проселочной дороге максимальная скорость не превышала 35 км/ч. При полной заправке топливом бронеавтомобиль мог пройти 248 км. С двигателем взаимодействовала трансмиссия в состав которой входили однодисковое сцепление сухого трения, четырехскоростная коробка передач (4+1) демультипликатор, карданная передача, главная передача и механические тормоза.
В трехосной неполноприводной (6×4) ходовой части с подвеской на полуэллиптических листовых рессорах использовались колеса с пневматическими шинами большого сечения размером 6,50-20. На передней оси устанавливались односкатные колеса на ведущих задних — двухскатные. Запасные колеса крепились к бортам корпуса в нижней задней части моторного отсека и свободно вращались на своих осях. Они не давали бронеавтомобилю сесть на днище и облегчали преодоление окопов, рвов и насыпей. Для увеличения проходимости на задние скаты БА-3 одевались вездеходные гусеницы типа «оверолл».
Гусеницы массой по 71 кг состояли из 25 звеньев, каждое из которых имело размеры 80×35 мм. При шаге, равном 180 мм длина гусеницы составляла 4500 мм. Надевание гусениц при участии всего экипажа бронеавтомобиля занимало 10-15 минут. Все колеса сверху прикрывались крыльями. Широкие задние крылья образовывали над колесами своеобразные полки, и их использовали для крепления штатного снаряжения — ящика с запасными частями и инструментами и вездеходных гусеничных цепей.
Производство бронеавтомобиля БА-3 было налажено на Ижорском заводе и Выксунском заводе дробильно-размолочного оборудования, которые в период с 1934 по 1935 год изготовили 168 бронемашин этого типа. Средние бронеавтомобили БА-3 поступали на вооружение разведывательных подразделений танковых, кавалерийских и стрелковых соединений Красной Армии.