Родился в с. Висяге (ныне пос. Крылове Чувашской АССР) в семье артиллерийского офицера. Мать, Софья Викторовна, принадлежала к старой дворянской семье, из которой вышел знаменитый русский математик А. М. Ляпунов. В родословной по отцу и по матери — общие корни ряда других выдающихся деятелей: И. М. Сеченов — знаменитый основатель русской физиологической школы, Б. М. Ляпунов — академик, крупный специалист по славянской филологии, В. П. Филатов— выдающийся профессор глазных болезней и др.
Рос вдумчивым, любознательным ребенком, много читал о подвигах русских мореплавателей и сам мечтал стать моряком. Уговорил отца отдать его в Петербургский морской корпус, при поступлении в который набрал небывало высокое количество баллов. Уже тогда будущий ученый понимал, что хороший инженер должен прекрасно знать математику, и ее изучает самостоятельно под руководством своего дяди А. М. Ляпунова, который тогда был студентом университета.
После окончания Морского корпуса (училища) в 1884 г. произведен в мичманы, был награжден премией (имя занесено на мраморную доску) и зачислен на службу в компасную часть Главного гидрографического управления. Здесь выполнил свои первые научные работы по девиации компаса и приобрел простые навыки в вычислениях —- навыки, которые с тех пор не переставал развивать, совершенствовать.
В 1890 г. окончил Морскую академию (имя занесено на мраморную доску) и был оставлен при академии для подготовки к профессорскому званию. Почетный доктор прикладной математики, профессор, член-корреспондент к (1916 г.), академик Петроградской АН (1918 г.).
С 1890 г.— почти 50 лет преподавал в Морской академии (с 1919 г. был директором) и в других вузах, в 1927—1932 гг. руководил Физико-математическим институтом АН СССР. Основные труды относятся к кораблестроению, механике и математике. Для вычисления важнейших характеристик корабля — остойчивости и пловучести — разработал рациональные приемы и схемы, ставшие классическими. Важное практическое значение имеют работы ученого по непотопляемости судна; составленные им таблицы непотопляемости занимают видное место в строительной механике корабля. Работами по теории кораблестроения приобрел мировую известность. Большую ценность имеют также труды по математике и механике.
Исследовал ряд вопросов рациональной организации численных расчетов, обосновал способ улучшения сходимости тригонометрических рядов, предложил метод решения так называемого векового уравнения.
Построил первую в России машину для интегрирования дифференциальных уравнений (1904 г.). Важное значение имеют труды, которые посвятил разработке наследия классиков науки — И. Ньютона, Л. Эйлера, Ж. Лагранжа, К. Гаусса и др.
Вел большую общественную и организаторскую работу. С 1900 г. руководил Опытовым бассейном для испытания моделей судов, в 1908—1910 гг. был главным инспектором кораблестроения, в 1910—1917 гг. консультировал по вопросам судостроения, с 1916 г. — директор Главной физической обсерватории и начальник Главного военно-метеорологического управления, с 1917 г.— директор физической лаборатории (позже института) АН СССР.
Великая Октябрьская социалистическая революция застала генерал-лейтенанта флота, академика А. Н. Крылова на посту члена правления Российского общества пароходства и торговли. Как истинный патриот, передал Советскому правительству весь подведомственный ему торговый флот в полном порядке и предоставил все свои огромные способности, богатейшие знания и редкий жизненный опыт в распоряжение молодой Советской республики.
В 1921—1927 гг. находился за границей в составе комиссии для возобновления научных контактов и решения многих народно-хозяйственных задач; оказал неоценимые услуги молодой республике, принимая личное участие в закупке, заказе, фрахтовании необходимых для страны пароходов, лесовозов, нефтеналивных судов, в перевозке закупленных в большом количестве паровозов, паровых котлов и других машин и оборудования.
В основе педагогических взглядов ученого лежал принцип: научиться учиться. «Никакая школа,— говорил он,— не может выпустить законченного специа- листа; специалиста образует его собственная деятельность. Нужно лишь, чтобы он умел учиться, учиться всю жизнь. Для этого школа должна привить ему культуру, любовь к делу, к науке. Он должен вынести из нее основы знаний, критически усвоенные; он должен научиться отыскивать недостающие знания; знать, где их можно найти и как ими воспользоваться».
Герой Социалистического Труда, лауреат Государственной премии СССР, заслуженный деятель науки и техники СССР, награжден тремя орденами Ленина. Его именем комиссия АН СССР в 1966 г. назвала кольцевую гору на обратной стороне Луны. Академией наук СССР учреждена премия им. А. Н. Крылова.