Мосс родился в 1935 году в Бруклине, в 1962 году вместе с Хербом Алпертом основал лейбл A&M Records. Они работали с такими группами, как The Police, Supertramp, Oingo Boingo, Humble Pie, Nazareth, дуэтом The Carpenters. Также лейбл сотрудничал с Кэрол Кинг, Джанет Джексон, Ритой Кулидж, Шерил Кроу, гитаристом Питером Фрэмптоном, а также Джо Кокером, Брайаном Адамсом и многими другими.
Джерри Мосс также удостоен звезды на голливудской "Аллее славы".