На самом деле речь идет об известной поговорке "Брань на воротУ не виснет". Именно на воротУ, а не на ворОтах! Вот так получается понятно. "Ворот" - часть одежды вокруг шеи, обычно с разрезом на груди, такое пояснение дает нам Словарь Ожегова. То есть, если вас несправедливо ругают, забудьте, эта брань на вас не останется, на воротУ не повиснет, живите себе дальше и делайте свое дело.
В многозначном нашем языке "воротом" называют еще и простейшую грузоподъемную машину - но в этом значении "ворот" поговорок как-то не образовал.
Итак, "брань не виснет на воротУ". А что же ворОта? Те, через которые мы можем взять да и въехать куда-нибудь? Мы можем дать кому-нибудь "от ворот поворот", а можем заметить, что это "ни в какие ворота не лезет". Если же вдруг беда, тогда скажем: "Пришла беда - отворяй воротА". Да, в поэтической речи тоже могут появиться воротА, пусть вас это не удивляет. Главное - не перепутать ворОта (или воротА) с вОротом на шее.