Невдовзі Петро знову віддає наказ гетьману відрядити військо на війну. Мазепа відряджає загін на чолі з миргородським полковником Данилом Апостолом. Цей загін самостійно без царської підтримки розбив військо шведського генерала Шліппенбаха. І знову московський уряд несправедливо повівся з козаками, після бою в козаків забрали всю здобич і ще й познущалися з них. Почало зароджуватися незадоволення царським урядом в рядах козацької старшини..

В 1702 році стародубський полковник Миклашевський вдало проводить ряд боїв і виграє велику баталію під Биховим. Полковник Раїч проводить переможний рейд по Литві. Козаки беруть Нарву. Чернігівський полковник Юхим Лизогуб бере Орішок. Петро відряджає частину козацького війська воювати з башкирами, іншій частині доручає утримувати Нарву, та стояти дозором на Неві. Москалі не давали козакам ні крупи, ні сухарів, а хліба видавали лише половину від призначеної пайки.

В 1704 році Петро відсилає все козацьке військо на чолі з Мазепою до Польщі. Попереду війська йде 3 000 козаків під командуванням Апостола. Загін Апостола підпорядковується на місці царському посланцю німцеві Паткулю. Паткуль, бувший німецький військовий, почав муштрувати козаків на німецький лад. Учив козаків німецькому військовому строю. Хоча й козацьке військо було досить організованою армією, але німецькі порядки дуже сильно відрізнялися від звичних козакам. За непокору Паткуль мало не повісив сотника Родзянко, який відважився сказати, що козаків таким премудростям потрібно навчати щонайменше півроку, аби з того хоч щось получилось. Апостол відправив гетьману листа в якому говорив, що козацьке військо зазає великої наруги з боку Паткуля, в них позабирали коней і провізію, майже голих і босих женуть у бій, якщо таке буде продовжуватися то козаки, навіть під страхом смертної кари розбіжаться. Паткуль відпустив козаків без коней, відібравши їх для свого німецького гарнізону. Зазнавши декілька поразок від шведів назад з того загону повернулося близько 80 чоловік.

В 1705 році Мазепа отримав наказ йти на Волинь, потім на Брест, а потім наказ іти самому на Садомир і відіслати у Литву відділ козацького війська. Мазепа йшов по Галичині і 14 серпня був під Львовом. Новий король Станіслав Лещинський чотири рази присилав до Мазепи листи, в яких досить прозоро натякав на допомогу у звільненні з-під московської тиранії. Мазепа всі ці листи відіслав Петрові.

Мазепа послав під Ригу прилуцького полковника Горленка. І ось що той писав:

“… Панове полковники драгунські з полками своїми стоять по селах, а козакам не дозволяють не тільки в селах ставати, але й випросити корму в села не пускають, а як хто піде то драгуни б`ють…”

Писав і Орлик, що козакам дають хліба вдвоє менше ніж московським військам, не дають круп, сала, м`яса, солі. Коні козацькі знесилені від піврічної роботи, а козаки всі голі і босі.Про наругу над українським народом неслися до гетьмана листи і з України.

Коли цар сподівався приходу короля Карла із шведським військом на Україну, він виставив проти нього корпус війська на чолі із Меншиковим. Мазепі ж цар наказав стати під командування Меншикова. Вже раніше цар грозився нагородити Мазепу титулом “князь Римської імперії”, з козацьких полків зробити загони драгун, з українських земель викроїти княжество для герцога Мальборо, а гетьманську булаву віддати Меньшикову. Останню крапку у списку терпіння козацької старшини було поставлено у Києві під час візиту царя. Меньшиков прилюдно, при всій старшині, заявив, що вже пора перевішати всю старшину і найкращий момент це негайно, поки тут цар з усім своїм військом. Гетьман, який вже вирішив піти на великий крок і заключити союз із шведами, побачив, що йде не сам. Вже перед цим Мазепа мав зносини з княгинею Дульською, яка була посередником між ним і королем Карлом. Гетьман дуже обережно пробував грунт перед тим як зробити свій крок.

Петро вирішив у Києві будувати фортецю. Коли почали закладати цю фортецю рознесли багато дворів, повирубувано було багато садів, а людей просто вигнано на вулицю і наказано йти жити куди хочуть. Жодної компенсації московський уряд не надав. Будувати фортецю було зігнано козаків. Будівництво йшло 5 місяців силами козаків і за їх же кошти. Над козаками цар приставив німецького полковника Гейнса із московськими стрільцями.

Тим часом армія Карла ХІІ отримувала одну перемогу за іншою. Петро шукав підтримки по всій Європі. Відбулась велика зустріч між Польщою і Росією у Жовкві. Мазепу також було туди запрошено, але не для поради, а для того, щоб сказати йому рішення Петра віддати Польщі Правобережжя, скасувати козацьке військо. Цар сказав це Мазепі 20 квітня на великій військовій раді. Мазепа після ради не пішов на вечерю до царя і нічого не повідомивши розпустив козацьку старшину. Старшина дізналася про ці царські плани не від гетьмана, а з інших джерел. Звістка про близький кінець їх сильно схвилювала. Проводилися таємні ради в обозного Ломиковського і в миргородського полковника Апостола. Назрівав великий бунт. І коли пізно вночі Мазепа отримав перший лист від польського короля Станіслава, ставленика шведського Мазепа прийняв рішення прийняти бік Карла ХІІ.

Частина військової старшини