Его карьера была типичной для своего времени. Уроженец Донецкой области и выпускник Мичуринского плодоовощного института, Рябов начинал зоотехником в курском колхозе, потом пошел по комсомольской линии. За десять лет работы в тамбовском обкоме ВЛКСМ дорос до первого секретаря. Перспективного руководителя перевели в Уварово, где Рябов возглавил горком партии. В первой половине 1980-х Александр Иванович был секретарем обкома КПСС, затем стал председателем исполкома облсовета.
После августовских событий 1991 года президент Борис Ельцин отстранил его от этой должности за поддержку ГКЧП. Однако доверие к Рябову на Тамбовщине было высоким, и его сразу же избрали председателем облсовета. Кроме того, Александр Иванович до 1993 года оставался народным депутатом, входил во фракцию "Коммунисты России".
Он представлял регион в Совете Федерации РФ первого созыва, где работал в комитете по вопросам безопасности и обороны. Был спикером Тамбовской областной Думы. В декабре 1995 года был выбран главой администрации области. Был членом Парламентской ассамблеи Совета Европы и Межпарламентской ассамблеи стран СНГ.
Готовился к новому губернаторскому сроку, но во втором туре выборов проиграл Олегу Бетину.
Александра Рябова похоронят 26 июня на Воздвиженском кладбище Тамбова, рядом с женой.