Джермино родился в Северной Каролине и начинал как поэт, позже переместившись в лагерь поэтов-песенников, переехав в Нэшвилл. Во время войны во Вьетнаме служил на флоте.
Как рассказывал артист, изначально певцом становиться он не планировал, но далее решил, что петь свои стихи проще и интереснее, чем читать их - и купил гитару. Решающее влияние на артиста оказали услышанные по радио песни Джонни Кэша.
Джермино выступал по клубам, какое-то время не оставляя основной профессии - водитель грузовика, работал курьером.
Песня Марка Lean on Jesus (Before He Leans on You), написанная им с Робом Стэнли и исполненная Полом Крафтом, достигла 55-го места в чарте Billboard Country в 1977 году.
В 1981-м Джермино подписал контракт и выпустил несколько сольных альбомов