Он умер дома от обширного инфаркта. В октябре 1999 года в Ереване Маркарян перенес хирургическую операцию по аортокоронарному шунтированию. Впоследствии он неоднократно лечился в Ереване и за границей. По данным армянских СМИ, в последние годы Маркарян регулярно выезжал во Францию с официальной формулировкой "для прохождения очередного медицинского обследования". Ходили слухи, что именно во Франции ему сделали вторую операцию, однако официального подтверждения эта информация не получила.
Маркарян возглавлял правительство с 2000 года. "С его именем связаны достижения страны и успехи Республиканской партии. Его смерть - тяжелая потеря для страны", - заявил спикер Национального собрания Армении Тигран Торосян.
В связи со скоропостижной кончиной Маркаряна президент России Владимир Путин выразил глубокие соболезнования главе Армении Роберту Кочаряну, всему руководству страны, родным и близким покойного.