1914年6月15日，安德罗波夫出生在俄罗斯帝国斯塔夫罗波尔州的一个铁路职工家庭。1930年至1936年，安德罗波夫先后做过工人、电报员、电影放映员和水手等工作。1936年，在水运专科学校毕业后在雷宾斯克一家造船厂工作，任工厂苏联共青团组织委员。
1937年，升任苏联共青团雅罗斯拉夫州委书记，第二年任该州团委-。1939年，加入苏联共产党。1940年，当选为卡累利阿-芬兰苏维埃社会主义共和国团中央-。苏德战争初期，安德罗波夫参加了卡累利阿游击队。1944年，苏联红军收复彼得罗扎沃茨克市之后，他被任命为该市苏共党委第二书记并在市里的一所高等学校进修学习。
1947年，第二次世界大战结束后，安德罗波夫当选为卡累利阿-芬兰苏维埃社会主义共和国党中央第二书记。1950年-1951年，任第三届苏联最高苏维埃代表。195l年至1953年，调往莫斯科中央机关工作，在苏共中央对外联络部任检查员和苏共中央第一处处长，同时在莫斯科高级党校进修学习。
1953年至1957年，调任苏联外交部第四欧洲司，工作范围为波兰和捷克斯洛伐克相关事务，后任苏联驻匈牙利公使衔参赞。
1954年，任苏联驻匈牙利特命全权大使。
1956年，积极参与了匈牙利事件的解决。
1957年，被调回莫斯科任苏共中央联络部部长，主管其他社会主义国家相关事务，曾多次作为苏共首脑赫鲁晓夫的随员出访东欧国家和参加东欧各共产党的代表大会。赫鲁晓夫下台后，又多次作为苏共首脑勃列日涅夫的随员出访和参加东欧各国共产党的代表大会。
1961年10月，自苏共二十二大起连续当选为苏共中央委员。
1962年至1967年，任苏共中央书记。
1962年3月，连续当选为第六至十届苏联最高苏维埃代表。
1967年，安德罗波夫被免去苏共中央书记职务，接替谢米怡斯内伊任苏联-委员会（克格勃）主席，兼任苏共中央政治局候补委员。
1968年，布拉格之春。据KALUGIN的说法，当时克格勃“蓄意营造了全国的（对北约进攻）的恐慌”，当时他在华盛顿获得了“绝对可靠的证据”证明无论CIA还是哪个情报机构都不曾操纵捷克的改革运动，而安德罗波夫却销毁了证据。
1973年4月，升为苏共中央政治局委员。
1976年，获大将军衔（相当于军兵种元帅）。
1982年5月，重新当选为苏共中央书记。
1982年11月，接任苏共中央总书记。
1984年2月9日，安德罗波夫因长期肾病而病逝，终年69岁。
执政方略
在国内问题上，安德罗波夫主张“集体领导”，强调“加强社会主义法制”和“有条不紊的国家机器”，要将苏联建成“有高度组织性的社会”，对损害-利益的事情“采取不妥协的态度”，并发起了反对-腐化和低效率的运动，狠狠打击-受贿，狠抓公司厂矿的劳动纪律，整顿社会秩序。
经济方面进行体制改革试验，下放给工厂管理人员更多权力，放松中央经济机构的管制，努力提高质量、提高效率。
对外政策方面继续执行勃列日涅夫的基本政策，但更谨慎克制，不主动挑起对外事端。因其执政重点放在国内，对外战略方针没有大的调整。
在对其他社会主义国家的国际关系和发展中国家向社会主义过渡问题上提出了新的观点：
由于各国具体条件和起点不同，各国建设社会主义的道路和方式不可能“千篇一律”，而是“多样的”；各国都有“自己独特的创造”，不能“互相模仿”。“一体化的需求”同各国的利益之间“会产生矛盾”。认为过去把社会主义国家看成整齐划一，处处一致是错误的。
这些观点比勃列日涅夫强调各国必须遵循“共同规律”和其他社会主义国家主权有限论相比，是个重大变化。
在中苏关系方面，安德罗波夫任苏共中央总书记期间主张“改善苏中关系”，“恢复苏中两国人民的友谊”，继承了勃列日涅夫去世前提出的要实现两国关系正常化的方针，但因安德罗波夫执政时间短暂，没有实质性进展，没有消除邓小平所说的“中苏关系正常化的障碍”。安德罗波夫曾作为随员先后四次造访中国：1959年作为赫鲁晓夫的随员访华，1963年率苏联最高苏维埃代表团访问越南路过北京，1965年作为柯西金的随员访问越南路过北京，1963年7月和1964年11月参加中苏两党会谈。