Гуницкий стоял у истоков группы вместе с Гребенщиковым в 1972 году. За сходство с Джорджем Харрисоном его прозвали Джорджем, однако в "Аквариуме" он был не гитаристом, а автором песен, басистом и ударником.
Его стихи легли в основу альбомов "Искушение святого Аквариума" и "Песни Джорджа", написанные им вещи вошли в несколько альбомов коллектива.
В 1975 году он устроился на работу в театр, в 1980-х писал о музыке в журналах "Рокси" и "Костёр", вёл авторскую передачу на радио.
Пьесы Гуницкого "До самых высот" и "Смерть безбилетника" ставились в театрах, в 2000 году проект "Террариум" (с Вячеславом Бутусовым, Максимом Леонидовым, Настей Полевой и Александром Васильевым) выпустил альбом "Пятиугольный грех" на его стихи. Песня "Гибралтар/Лабрадор" попала в фильм Алексея Балабанова "Брат 2".
Серьёзные проблемы со здоровьем у "Джорджа" начались в 2020 году - тогда друзья и коллеги организовывали сбор средств на его лечение.
24 мая Анатолий Гуницкий на своей странице в ВК опубликовал стихотворение, ставшее его последней записью (редакция - авторская).
"Нет это уже не нужно
Давно
Никому
Никогда
Кончилось время иллюзий
Но ничего не изменилось
Наступила эпоха пустых перемен
Сегодня
Вчера
Навсегда"