Родился в м. Окна (ныне Красные Окна Одесской области). В 1930 г., имея неполное среднее образование, переехал в Москву где работал и самостоятельно изучал математику, а вскоре уже ее преподавал. В 1932 г. поступил в аспирантуру Московского университета. Доктор физико-математических наук (1940 г.), профессор (Г943 г.). С 1932 г. работает в Московском университете, а с 1939 г. одновременно в Математическом институте АН СССР. В 1953 г. избран членом-корреспондентом АН СССР.
Основные труды относятся к функциональному анализу, алгебре и топологии. Один из создателей теории нормированных колец (банаховых алгебр), которая послужила затем отправным пунктом созданной им (совместно с М. А. Наймарком и др.) теории колец с инволюцией и теории бесконечномерных представлений групп, имеющей существенное значение для теоретической физики. Наряду с этим занимался теорией обобщенных функций, дифференциальными уравнениями, теорией топологических линейных пространств, обратными задачами спектрального анализа, динамическими системами, теорией вероятностей, приближенными и численными методами и др. Работы И. М. Гельфанда и его учеников стали теоретической основой созданной научной школы по применению математических методов в биологии. Автор 250 работ, свыше 100 из которых посвящены различным вопросам биологии. Член Национальной АН США, Ирландской АН и других академий, а также математических обществ, почетный доктор многих университетов, лауреат двух Государственных премий СССР, награжден орденами Ленина, Трудового Красного Знамени, Дружбы народов и «Знак Почета».