Пізнання в медицині і побожність здобули Чиллингуорт повагу жителів Бостона. Незабаром після прибуття він обрав своїм духовним батьком преподобного Димсдейла. Всі парафіяни дуже поважали молодого богослова і були стурбовані його здоров'ям, різко погіршали в останні роки. Люди бачили в приїзді до їхнього міста вправного лікаря перст Провидіння і наполягали, щоб містер Димсдейл звернувся до нього за допомогою. В результаті молодий священик і старий лікар подружилися, а потім навіть і оселилися разом. Чиллингуорт, який взявся за розслідування таємниці Естер із суворим неупередженістю судді, все більше підпадає під владу одного-єдиного почуття - помсти, яка підпорядковує собі все його життя. Відчувши палку натуру молодого священика, він хоче проникнути в потаємні глибини його душі і для цього не зупиняється ні перед чим. Чиллингуорт весь час провокує Димсдейла, розповідаючи йому про нерозкаяних грішників. Він стверджує, що в основі тілесного недуги Димсдейла лежить душевна рана і вмовляє священика відкрити йому, лікаря, причину його душевних Страждань. Димсдейл вигукує: «Хто ти такий, щоб <...> ставати між страждальцем і його Господом?» Але одного разу молодий священик міцно засинає вдень у кріслі і не прокидається навіть тоді, коли Чиллингуорт входить в кімнату. Старий підходить до нього, кладе руку йому на груди і розстібає одяг, яку Димсдейл ніколи не знімав в присутності лікаря. Чиллингуорт торжествує - «так веде себе сатана, коли переконується, що дорогоцінна людська душа втрачена для небес і виграна для пекла». Димсдейл відчуває до Чиллингуорт неприязнь і картає себе за неї, не знаходячи для неї причини, а Чиллингуорт - «жалюгідне, самотнє істота, ще більш нещасна, ніж його жертва» - всіма силами намагається посилити душевні муки Димсдейла.

Одного разу вночі Димсдейл йде на ринкову площу і стає біля ганебного стовпа. На зорі повз проходять Естер Прин і Перл. Священик гукає їх, вони сходять на поміст і стають поруч з ним. Перл запитує Димсдейла, постоїть він тут з ними завтра вдень, але він відповідає, що в день Страшного суду вони будуть стояти всі втрьох перед престолом великого судії, але зараз ще не час і денне світло не повинен бачити їх втрьох. Темне небо раптом осяває - ймовірно, це світло метеора. Вони бачать недалеко від помосту Чиллингуорт, який невідривно дивиться на них. Димсдейл говорить Естер, що відчуває невимовний жах перед цією людиною, але Естер, пов'язана клятвою, не відкриває йому таємниці Чиллингуорт.

Роки йдуть. Перл виповнюється сім років. Бездоганна поведінка Естер та її безкорислива допомога стражденним призводять до того, що жителі містечка починають ставитися до неї зі своєрідним повагою. Навіть червона буква здається їм символом не гріха, а внутрішньої сили. Якось раз, гуляючи з Перл, Естер зустрічає Чиллингуорт і уражається зміні, що сталася в ньому за останні роки. Спокійне мудре обличчя вченого набуло хиже, жорстоке вираз, посмішка виглядає на ньому гримасою. Естер заговорює з ним, це перший їхній розмову з того разу, коли він взяв з неї клятву не розкривати його справжнього імені. Естер просить його не мучити Димсдейла: страждання, яким піддає його Чиллингуорт, гірше за смерть. До того ж він мучиться на очах свого заклятого ворога, навіть не знаючи, хто він такий. Естер запитує, чому Чиллингуорт не мстить їй; той відповідає, що за нього помстилася червона буква. Естер благає Чиллингуорт одуматися, він ще може врятуватися, адже це ненависть перетворила його з мудрого справедливого людини в диявола. У його владі пробачити, прощення людей, які завдали йому образу, стане його порятунком. Але Чиллингуорт не вміє прощати, його доля - ненависть і помста .

Естер вирішує відкрити Димсдейла, що Чиллингуорт її чоловік. Вона шукає зустрічі зі священиком. Нарешті вона зустрічає його в лісі. Димсдейл говорить їй, як він страждає від того, що всі вважають його чистим і непорочним, між тим як він заплямував себе гріхом. Його оточують брехня, порожнеча, смерть. Естер відкриває йому, хто ховається під ім'ям Чиллингуорт. Димсдейл лютує: з вини Естер він «оголював свою немічну злочинну душу перед поглядом того, хто таємно глумився над нею». Але він прощає Естер. Обидва вони вважають, що гріх Чиллингуорт ще страшніше, ніж їх гріх: він зазіхнув на святиню людського серця. Вони розуміють - Чиллингуорт, знаючи, що Естер збирається розкрити Димсдейла його таємницю, вигадував нові підступи. Естер пропонує Димсдейла бігти і почати нове життя. Вона домовляється з шкіпером судна, що пливе в Брістоль, що він візьме на борт двох дорослих людей і дитини.

Судно має відплисти через три дні, а напередодні Димсдейл збирається прочитати проповідь на честь дня виборів. Але він відчуває, як у нього мутиться розум. Чиллингуорт пропонує йому свою допомогу, але Димсдейл відмовляється. Народ збирається на ринковій площі, щоб почути проповідь Димсдейла. Естер зустрічає в натовпі шкіпера брістольського судна, і він повідомляє їй, що Чиллингуорт також попливе з ними. Вона бачить на іншому кінці площі Чиллингуорт, який зловісно посміхається їй. Димсдейл вимовляє блискучу проповідь. Починається святкова хода, Димсдейл вирішує покаятися перед народом. Чиллингуорт, розуміючи, що це