Друг раз Іван женився в 1561 р. на Марії, напівдикій черкесці Темрюківні. Умерла вона в 1569 р. Про неї ходила поголоска, що вона була така ж розпущена по своїх вдачах, як і жорстока по природі.

Через 2 роки після її смерті Іван обрав собі в дружини дочка простого новгородського купця - Марфу Василівну Собакіну. Вона прожила після весілля усього лише 2 тижня. Цар запевняв, що її отруїли раніш чим вона стала його дружиною, тобто вона вмерла незайманою.

Цим цар хотів виправдати свій намір вступити в 4 шлюб, про яке він став думати негайно після смерті Марфи. Церковні правила перешкоджали здійснити його намір. Він став доводити необхідність для себе нового союзу, затверджуючи, що в нього одну за іншою отруїли 3 дружини, він говорив, що після смерті 2 дружини він уже сам був готовий піти в монастир. Тільки турботи про виховання дітей і про свою державу удержали його. Він повинний обрати собі подругу, щоб "уникнути гріха". Церква уступила настійним проханням пануючи.

У 1572 р. він повів до вівтаря дочка одного зі своїх придворних вельмож, Ганну Колтовскую. Через 3 роки він заточив її в монастир. Приводом для цього послужило обвинувачення пред'явлене до цариці в змові цариці проти нього. Розлучення супроводжувалося стратами, що зовсім винищили родину цариці. Ганна прожила в Тихвіну до 1626 р. під ім'ям черниці Дарьї.

Після цього цар наблизив одну за іншою 2 наложниць - Ганну Васильчикову і Василису Мелентьєву. Обидві вони визнавалися його дружинами, хоча для співжиття з ними він іспросил тільки дозволу свого духівника, що розумів, що для такої людини, як Іван, потрібно винаходити більш еластичні правила. За свідченням літописів, Ганна продовжувала ще 3 роки користатися ласками Івана. Але умерла вона все-таки насильницькою смертю. Кар'єра Василиси була більш короткою, ще зовсім молодою і красивою, вона була заточена в один з підмосковних монастирів.

По переказі в 1573 р. на зміну, Василисі з'явилася нова коханка, Марія Довгорука. Однак після першої ж ночі Іван кинув її. Довгорука загинула: неї посадили в коляску, запряжену лихими конями, і утопили в ріці.

У вересні 1580 р. цар вступив у 7 чи 8 більш-менш законний шлюб з Марією Нагой, дочкою боярина Федора Федоровича. Вона незабаром стала матір'ю царевича Дмитра. У той же час цар женив свого сина Федора на сестрі Бориса Годунова Ірині, і створив, таким чином, нову родину на який зосередилася його любов. Утім, це не заважало йому плекати мрію про шлюб з Марією Гастінгс.

Легко собі представити, чим могла бути за таких умов домашнє життя царя. Більше усіх своїх синів цар любив старшого Івана, спадкоємця царського престолу, між батьком і сином існувала згода в ідеях і почуттях. Вони навіть мінялися своїми коханками. Але один раз, ображений зовнішнім виглядом своєї невістки цар ударив її з такою силою, що вона раніше часу розв'язалася від тягаря. Природно, що царевич не стримався від докорів на адресу батька. Грозний розлютив і замахнувся своїм ціпком. Удар був нанесений царевичу прямо в скроню.

Злочин був зроблений царем без наміру, але воно все-таки перейшло ту міру, до якої звикли його сучасники. Смерть спадкоємця з'явилася як би народним нещастям, тому що майбутнє московського престолу представлялося дуже сумним. Федір був напівідіот, Дмитро - ще дитя. Від своїх коханок цар мав кілька синів, але вони не визнавалися його законними спадкоємцями.

У наслідок цього, цар більше, ніж коли-небудь, намагався заглушити свій сум і роздирання совісті в самій неприборканій розпусті. Ці надмірності остаточно підірвали і без того вже растроенное його здоров'я.

На початку 1584 р. виявилися деякі тривожні симптоми, що схвилювали государя і весь його двір. Тіло Івана розпухнуло і стало видавати нестерпний сморід. Лікарі визнавали в цьому розкладання крові. Астрологи вказали час, коли наступить смерть. Але царю про це сказано не було. Однак Богдан Бєльський (улюбленець Івана) попередив астрологів, що якщо їхнє пророкування не збудеться, їх спалять живими. Це було рівносильно призначенню премії за убивство царя. Тому, після його смерті багатьма висловлювалися підозри, що він був отруєний Борисом Годуновым зі спільниками.

Цар умер 18 березня 1584 р. Він запросив Бориса Годунова зіграти з ним у шахи і сам уже почав розставляти фігури по дошці, як раптом відчув себе дурно. Спустя кілька хвилин він уже хрипів в агонії. Так виповнилися пророкування астрологів. За бажанням Івана, після здійснення над ним передсмертних обрядів, він прийняв чернецтво. Він залишив своєму сину Федорові царський вінець, а Борисові Годунову державну владу.

Такий був перший цар усея Русі.