Родился в Амвросиевке (ныне Донецкая область). Окончил Московский университет (1945 г.), аспирантуру там же. С 1948 г. работает в Московском университете (с 1959 г.—профессор), одновременно —в Институте прикладной математики АН СССР (заведует отделом). В 1957 г. присвоена ученая степень доктора физико-математических наук, в 1966 г. избран членом-корреспондентом, а в 1976 г.— академиком АН СССР.
Был учеником А. Н. Тихонова, с которым выполнил многие работы. Занимался дифференциальными уравнениями, связанными с решением различных задач математической физики.Основные труды относятся к математической физике и вычислительной математике. Исследовал так называемый метод дробных шагов для дифференциальных уравнений параболического типа; вместе с А. Н. Тихоновым указал на принцип выделения решений — так называемый принцип предельной амплитуды. В приближенных и численных методах вместе с А. Н. Тихоновым провел большой цикл исследований по созданию однородных разностных схем для дифференциальных уравнений с гладкими и разрывными коэффициентами. С 1950 г. он и А. Н. Тихонов в той или иной форме применяли так называемый метод баланса. Работы А. А. Самарского используются в вычислительных алгоритмах для решения на ЭВМ актуальных задач в различных областях науки и техники.
Известен и как педагог. Его перу принадлежат учебник «Уравнения математической физики» (написан в соавторстве с А. Н. Тихоновым), учебное пособие «Теория разностных схем» и др.
Член КПСС с 1946 г., участник Великой Отечественной войны. Ведет .большую общественную работу, член редколлегий ряда специальных журналов, Экспертной комиссии ВАК. Лауреат Ленинской и Государственной премий, награжден двумя орденами Ленина, орденами Октябрьской Революции и Трудового Красного Знамени, а также медалями.