Его детство оказалось трудным. В 1921 году у шестилетнего мальчика умер отец Василий Мартынович, паровозный машинист с Риго-Орловской железной дороги. Семья вынуждена была переехать в родную отцовскую деревню Земцы близ Сиротино (теперь это Шумилинский район Витебской области). В тех краях Миша окончил белорусскую семилетнюю школу, а в 1929-м старший брат Владимир привел 14-летнего брата в паровозоремонтное депо в Витебске.
Вскоре юноша выучился на помощника машиниста, а в 1934 году он окончил педагогический техникум, после чего два года преподавал в школе историю на белорусском языке. Привлекала будущего главного редактора газеты "Правда" и журналистика: учитель Зимянин наряду с основной работой трудился литработником в одном из минских изданий. Эти навыки пригодились в Красной армии, куда Михаила призвали осенью 1936 года. Там он подружился с ровесником Кириллом Мазуровым, будущим белорусским первым секретарем и членом Политбюро ЦК КПСС. Кирилл Трофимович вспоминал, что Зимянин, "живой и компанейский, добрый и ровный в общении с товарищами, хотя и острый на язык... выделялся своей эрудицией (заочно учился в Могилевском педагогическом институте) и быстро завоевал авторитет у товарищей и командования. После окончания полковой школы Михаила Зимянина назначили редактором газеты нашей части".
В июне 1938 года первым секретарем белорусской компартии стал энергичный Пантелеймон Пономаренко. С толковыми и перспективными кадрами в условиях массовых репрессий в БССР была настоящая беда, но новый руководитель обладал наметанным глазом и в том же 1938-м приметил на одном из совещаний в Могилеве 23-летнего студента исторического факультета Могилевского педагогического института Зимянина. Первого секретаря Михаил порадовал своей начитанностью. Уже на следующий год, получив высшее образование, он становится секретарем ЦК белорусского комсомола, а в 1940 году - его первым секретарем.
В годы войны Зимянин получил известность как умелый организатор партизанского движения, он множество раз отправлялся за линию фронта, поддерживая партизан в различных регионах оккупированной БССР, в Минской, Барановичской, Полесской и Витебской областях.
А одна такая партизанская командировка в 1943-м могла окончиться трагически: у Зимянина случился острый приступ аппендицита с потерей сознания. На его счастье, врачом в партизанском отряде Романа Мачульского был 22-летний местный парень Николай Малиновский (1921-2018), ставший со временем главным кремлевским хирургом. Юный лекарь заставил выпить стакан медицинского спирта, после чего самыми примитивными инструментами успешно провел операцию.
После войны при содействии Пономаренко Михаил Васильевич стал уверенно двигаться вперед по карьерной лестнице БССР. После комсомола он стал вторым секретарем Гомельского обкома партии, затем кратко побывал министром просвещения БССР, а в апреле 1947 года занял должность секретаря белорусского ЦК по кадрам, в 1949-м был повышен до второго секретаря ЦК. Но это в тогдашних условиях был потолок Зимянина в Минске: по сложившейся еще до войны практике первыми секретарями местных уроженцев не ставили.
В 1953 году после смерти Сталина такая возможность у Зимянина появилась, но при крайне драматичных обстоятельствах. В апреле 1953-го его перевели в МИД СССР на должность заведующего 4-м Европейским отделом, который курировал страны Восточной Европы и Грецию. А уже 8 июня Михаилу Васильевичу пришлось созвониться с Лаврентием Берией, который неожиданно для Зимянина стал продвигать его кандидатуру в минские первые секретари. 12 июня назначение Зимянина было оформлено секретным решением Президиума ЦК КПСС (так в ту пору называлось Политбюро). Архивные документы показывают, что в пользу кандидатуры Зимянина высказался не только Берия, но и Ворошилов, Хрущев, Молотов и Маленков.
Впереди было лишь формальное утверждение кандидатуры Зимянина на пленуме ЦК КПБ. С его созывом несколько затянули, и надо же было такому случиться, что назначение Михаила Васильевича совпало с арестом 26 июня Берии. Уже принятое решение спешно переиграли, первым секретарем белорусского ЦК оставили прежнего руководителя Николая Патоличева. Тот по совету Хрущева и Маленкова публично предложил Зимянину пост председателя Совета министров БССР. Михаил Васильевич вежливо отказался и вернулся в Москву в МИД. Очень скоро выяснилось, что поступил он абсолютно правильно. Хрущев потребовал объяснений, не является ли Зимянин членом "банды Берии". Скромного завотделом в МИДе трогать не стали, удовлетворившись его подробной объяснительной запиской.
Мидовская карьера, включавшая успешную работу послом во Вьетнаме и Чехословакии, позволила Михаилу Васильевичу спокойно пережить волюнтаристскую эпоху Хрущева. При Брежневе Зимянин стал видной политической фигурой: с 1965 года был главным редактором главной советской газеты "Правда", а с 1976 по январь 1987 года работал секретарем ЦК КПСС, отвечая за широкий круг гуманитарных направлений, в том числе науку, культуру, просвещение, спорт. Среди своих коллег по высшему руководству он выделялся. Известный журналист и политик Виталий Игнатенко пишет об этом так: "По-моему, более человечного, принципиального, доступного и мудрого человека в секретариате ЦК не было".