Разом з вірними учнями Бенвенуто поїхав до Парижа, де отримав аудієнцію в монарха. Тим, проте, справа і скінчилася: підступність ворогів і військові дії зробили перебування у Франції неможливим. Бенвенуто повернувся до Риму і отримав безліч замовлень. Йому довелося прогнати за неробство одного працівника родом з Перуджі, і той задумав помститися: нашептав татові, нібито Бенвенуто викрав дорогоцінні камені під час облоги замку Святого Ангела і має тепер стан у вісімдесят тисяч дукатів. Жадібність Паголо та Фарнезе і його сина П'єра Луїджі не знала меж: вони наказали заточити Бенвенуто в темницю, а коли звинувачення розсипалося, задумали його неодмінно заморити. Король Франциск, дізнавшись про цю несправедливість, почав клопотатися через кардинала Феррарского, щоб Бенвенуто відпустили до нього на службу. Кастелане замку, людина благородна і добрий, поставився до в'язня з найбільшим участю: дав можливість вільно гуляти по замку і займатися улюбленою мистецтвом. В казематі містився один монах.Скориставшись помилкою Бенвенуто, він викрав у нього віск, щоб виготовити ключі і втекти.Бенвенуто клявся всіма святими, що не винен у підступності ченця, але Кастелане так озлився, що майже втратив розум. Бенвенуто став готуватися до втечі і, влаштувавши все найкращим чином, спустився вниз на сплетеної із простирадл мотузку. До нещастя, стіна навколо замку виявилася занадто високою, і він, зірвавшись, зламав собі ногу. Вдова герцога Лессандро, пам'ятаючи його великі труди, погодилася дати йому притулок, але підступні вороги не відступилися і знову перепровадили Бенвенуто у в'язницю, незважаючи на обіцянку папи пощадити його. Кастелане, зовсім звихнувся, піддав його таким нечуваним муках, що він вже прощався з життям, але тут кардинал феррарської домігся від папи згоди звільнити безвинно засудженого. У в'язниці Бенвенуто написав поему про свої страждання - цим «Капітолій» і завершується перша книга мемуарів.

У другій книзі Бенвенуто розповідає про своє перебування при дворі Франциска I і флорентійського герцога Козімо. Відпочивши трохи після тягостей висновків, Бенвенуто поїхав до кардинала Феррарском, взявши з собою улюблених учнів - Асканіо, Паголо-римлянина іПаголо-флорентійця. По дорозі один поштовий доглядач надумав затіяти сварку, і Бенвенуто лише для остраху наставив на нього пищаль, але відскочив рикошетом куля вбила нахабу на місці, а його сини, намагаючись помститися, злегка поранили Паголо-римлянина. Дізнавшись про це, кардинал феррарської подякував небеса, бо обіцяв французькому королю неодмінно привезти Бенвенуто. До Парижа вони дісталися без пригод.

Король прийняв Бенвенуто надзвичайно милостиво, і це порушило заздрість у кардинала, який став нишком будувати підступи. Він сказав Бенвенуто, ніби король хоче покласти йому платню в триста скудо, хоча за такі гроші не варто було й виїжджати з Риму. Обдурений у своїх очікуваннях, Бенвенуто попрощався з учнями, а ті плакали і просили його не залишати їх, але він твердо вирішив повернутися на батьківщину. Однак слідом за ним послали гінця, і кардинал оголосив, що платити йому будуть сімсот скудо на рік - стільки ж, скільки отримував живописець Леонардо да Вінчі. Побачившись з королем, Бенвенуто вимовив по сто скудо кожного з учнів, а також попросив віддати йому замок Маленький Нель для майстерні. Король охоче погодився, оскільки жили в замку люди даром їли свій хліб. Бенвенуто довелося прогнати цих нероб, зате майстерня вийшла на славу, і можна було відразу ж узятися за королівський замовлення - статую срібного Юпітера.

Незабаром король зі своїм двором з'явився дивитися роботу, і всі дивувалися чудесному мистецтву Бенвенуто. А ще задумав Бенвенуто зробити для короля сільничку дивовижної краси і чудову різьблену двері, краше якій ці французи не бачили. До нещастя, йому не спало на думку домогтися розташування пані де Тампа, що мала великий вплив на монарха, і та затаїла на нього злість. А людці, яких він вигнав із замку, порушили проти нього позов і так йому допекли, що він підстеріг їх з кинджалом і навчив уму-розуму, проте нікого не вбив. На довершення всіх бід Паголо Міччері, флорентійський учень, вступив в блуд з натурницею Катериною, довелося побити шльондри до синців, хоча вона ще потрібна була для роботи. Зрадника Паголо Бенвенуто змусив одружитися з цієї