Алексей Грибов родился 31 января 1902 года в Москве. В 1919 году А. Грибов попал в Школу-клуб № 2 Замоскворецкого района, затем в Студию им. Горького, где ставили инсценированные рассказы повести. В 1924 году по окончании школы при 3-й студии МХАТа он вступил в труппу Московского Художественного театра. Первая значительная роль — мистер Крегс («Битва жизни» по Ч. Диккенсу, 1924). Выходил на сцену театра 50 лет.
А. Грибов был мастером разнообразнейших вариантов русского национального характера. Играя в пьесах А. П. Чехова, актёр тонко передавал чеховскую поэзию. Сыграл галерею персонажей в пьесах М. Горького.
Часто выступал и в сатирических ролях — Собакевич («Мёртвые души» по Н. В. Гоголю), Хлынов («Горячее сердце» А. Н. Охловский), Епиходов («Вишнёвый сад» А. П. Чехова). Именно комедийно-сатирические персонажи принесли ему успех в кино.
Одной из главных театральных удач была роль Фомы Опискина в спектакле по сатирической повести Ф. М. Достоевского «Село Степанчиково и его обитатели» (1970) .А. Грибов был первым актёром, воплотившим на сцене МХАТа образ В. И. Ленина («Кремлёвские куранты» Н. Ф. Погодина).
В годы Великой Отечественной войны часто выезжал на фронт в составе фронтовых бригад.
C 1935 года начал сниматься в кино.Много лет А. Грибов озвучивал мультфильмы на студии «Союзмультфильм». С 1970 года преподавал актёрское мастерство в Школе-студии МХАТ.
Скончался Алексей Николаевич Грибов 26 ноября 1977 года в Москве.