Карни получил образование в RSAMD, Королевской шотландской академии музыки и драмы. На экранах дебютировал в 1954-м - в телевизионной комедии "Стук", сыграв "первого парня на деревне".
В дальнейшей фильмографии - порядка 80 проектов: "Кошмарный человек", "Избранный", капитан Немо в сериале 1995 года по "Таинственному острову" Жюля Верна, "Белый клык" - сериал начала 90-х, "Сыщики-любители экстра-класса", "Шерлок Холмс" 1965-го, "Дьявольский пиратский корабль", "Клеопатра", "Ясон и аргонавты". Параллельно актер был успешен на сцене.
Почти двадцать лет Карни жил со своей второй женой Аланной в Новой Зеландии, но после вернулся на родину.
У Джона Карни остались пятеро детей от первого брака, девять внуков и семь правнуков.