Родился Ян Френкель 21 ноября 1920 года в Киеве в семье парикмахера Абрама Натановича Френкеля. Учился игре на скрипке под руководством отца.
В 1938—1941 годах учился в КГК имени П. И. Чайковского по классу скрипки и по классу композиции. С началом Великой Отечественной войны, будучи высокого роста, приписал себе около 5 лет и поступил в Оренбургское зенитное училище. По окончании училища в 1942 году принимал участие в боевых действиях, был тяжело ранен и после лечения с 1943 года до конца войны служил во фронтовом театре, играя на рояле, скрипке, аккордеоне.
После войны с 1946 года жил в Москве, делал оркестровки крупных произведений и играл на скрипке в различных ресторанах столицы.
Свою первую песню («Шёл пилот по переулку» на слова М. Слободского и А. Раскина) Ян Френкель написал в 1942 году, будучи курсантом, однако по-настоящему ощутил призвание композитора-песенника только в 1960-е, когда получила известность его песня «Годы» на стихи Марка Лисянского.
В дальнейшем судьба подарила ему таких соавторов, как Михаил Танич, Игорь Шаферан, супруги Константин Ваншенкин и Инна Гофф. Произведения Я. Френкеля были в репертуаре Людмилы Зыкиной, Иосифа Кобзона, Георга Отса, Нани Брегвадзе, Марка Бернеса, , Майи Кристалинской, Анны Герман и др.
В 1969 году, благодаря идее Марка Бернеса, появилась облетевшая весь мир песня «Журавли» на стихотворение Расула Гамзатова. Ян Френкель писал музыку к драматическим спектаклям, кинофильмам, мультфильмам. Снялся как актёр в трёх фильмах.
Автор ряда статей на музыкально-публицистические темы. Член Союза композиторов СССР.
Ян Френкель скончался 25 августа 1989 года в Риге. Похоронен в Москве на Новодевичьем кладбище.