В подальшому необхідно було піти на більш кардинальні зміни в усіх сферах життя, але політичне керівництво країни уже не могло цього зробити. "Ліміт часу", відпущений М. Хрущову, було вичерпано, як було вичерпано його власний політичний і інтелектуальний потенціал.
Визначально, що Хрущов, як і багато інших політичних діячів сучасності, був більше популярним на міжнародній арені, ніж у себе в країні. Це було пов'язано, перш за все, з тим твердим курсом, який проводив Радянський Союз в міжнародній політиці, з поворотом від конфронтації до розрядки.
Але всередині країни Хрущов ставав все більш непопулярною постаттю як серед своїх соратників, так і серед народу. Партійно-державний апарат був незадоволений постійними і непередбачуваними реорганізаціями, які приносили масу турбот, а переваг не давали ніяких. До того ж широкі верстви громадськості пропонували відмінити або скоротити привілеї номенклатури, щоб не допустити подальшої соціальної диференціації суспільства, а така перспектива не зовсім влаштовувала правлячу верхівку. Найбільш ортодоксальні партійні керівники вважали, що процес десталінізації, розпочатий на XX з'їзді, зайшов дуже далеко і загрожував "керівній ролі партії" в усіх галузях економічного, політичного і особливо духовного життя країни.
Через масштабне і соціальне небезпечне скорочення збройних сил серед незадоволених політикою Хрущова була велика кількість військових. Адже наприкінці 1950 - початку 1960-х років ліквідувалась велика кількість високооплачуваних генеральських посад, а сотні тисяч офіцерів були, буквально, кинуті на поталу долі. Через поступові заборони на лібералізацію духовного життя і постійне втручання партійних органів в творчу сферу росло незадоволення серед інтелігенції.
Робітники і селяни втомилися від галасливої боротьби за "світле майбутнє" при постійному погіршенні повсякденного життя. Робітники були незадоволені зростанням цін і зниженням тарифних ставок. Селяни виражали незадоволення безкінечними "експериментами" в сільському господарстві, які так і не змогли привести до ефективного функціонування аграрного сектора, лише збільшили імпорт продуктів харчування, які країна здатна була виготовляти сама.
Все це допомогло партійно-державній номенклатурі без особливих зусиль звільнитись від Хрущова. На жовтневому (1964) Пленумі ЦК він був звинувачений у "волюнтаризмі і суб'єктивізмі" і відправлений на пенсію. Було визнано недоцільним, в подальшому, суміщувати в одній особі вищі партійно-державні пости. Першим секретарем ЦК партії став Л.І. Брежнєв, а Головою Ради Міністрів СРСР - О.М. Косигін.
Звільнення Хрущова з партійних і державних постів відбулось досить тихо, його ім'я перестало згадуватись в пресі.