Родился в пос. Мишеронском (ныне Шатурский район Московской области) в семье потомственного рабочего-стеклодува. Окончил Московский университет (1931 г.), аспирантуру там же (ученик А. Н. Колмогорова), а также докторантуру Математического института АН СССР. Доктор физико-математических наук (1941 г.), профессор. В 1932—1960 гг. работал в Ивановском педагогическом институте, в 1942—1960 гг.— также в Математическом институте АН СССР, с 1960 г.— в Институте математики СО АН СССР (заведующий отделом алгебры) и Новосибирском университете. В 1953 г. избран членом-корреспондентом, а в 1958 г.— академиком АН СССР. Основные труды относятся к алгебре и математической логике. Выполнил фундаментальные работы в теории групп, теории колец и линейных алгебр, топологической алгебре (алгебры Мальцева), теории групп и алгебр Ли, теории алгоритмов, а также весьма значительные исследования в новой для советской алгебры области — теории универсальных алгебр.
Еще до поступления в аспирантуру написал свою первую работу по математической логике, построив общий метод для доказательства теорем типа, которые называются в алгебре «локальными теоремами». В 1941 г. впервые в мире применил методы математической логики для получения алгебраических теорем. Это положило начало систематическому применению методов математической логики в алгебре.
Один из создателей теории алгоритмических систем и теории моделей. Построенный им метод «описания моделей» позволил дать общее решение ряда проблем, ранее решавшихся с частных позиций. Школой, возглавляемой А. И. Мальцевым, получен целый ряд крупных результатов на стыке математической логики и алгебры, возникло новое направление, оформившееся в глубоко разработанную теорию, дающую общие методы решения ряда трудных вопросов теории алгебраических схем и моделей. Организовал широкие коллективные исследования по теории моделей, конструктивной алгебре и алгебре логики. По мнению ученого, дискретная математика в ближайшие годы будет играть в математике основную роль.
А. И. Мальцеву и его ученикам принадлежат важные утверждения, относящиеся к вопросам разрешимости элементарных теорий. Впервые в нашей стране занялся исследованием теории категорий. Оставил исключительно богатое и разнообразное научное наследие, идеи которого еще многие годы будут питать алгебру и смежные с ней ветви математики.
Известен как прекрасный педагог и талантливый организатор. В Новосибирске создал логико-алгебраическую школу, руководил всемирно известным семинаром «Алгебра и логика». В 1952 г. основал специализированный журнал «Алгебра и логика» и был его редактором. Основатель Сибирского математического общества и первый его президент, главный редактор «Сибирского математического журнала». Входил в состав СО АН СССР и состав бюро Отделения математики АН СССР.
Был депутатом Верховного Совета СССР 4 и 5-го созывов, Верховного Совета РСФСР 3-го созыва, Ивановского областного Совета народных депутатов, председателем Ивановского областного Комитета защиты мира. Заслуженный деятель науки РСФСР, лауреат Ленинской и Государственной премий СССР, награжден орденом Ленина, двумя орденами «Знак Почета» и медалями.