Институт общей физики им. А.М. Прохорова Российской академии наук был организован в 1982 г. лауреатом Нобелевской премии академиком А.М. Прохоровым, который возглавлял его до 1998 г. С 1998 по 2002 гг. академик А.М. Прохоров являлся почетным директором Института.
В 2002 г. Институту было присвоено имя академика А.М. Прохорова.
С 1998 по 2018 гг. Институт общей физики РАН возглавлял академик РАН Иван Александрович Щербаков, в настоящее время являющийся научным руководителем Института. С 2018 г. Институт общей физики РАН возглавлет член-корреспондент РАН Сергей Владимирович Гарнов.
Институт был создан на базе Отделения А Физического института им. П.Н. Лебедева АН СССР. Отделение А включало в себя Лабораторию колебаний, Лабораторию физики плазмы и Лабораторию физики твердого тела. Эти подразделения определили структуру и цели нового института.