Родился 22 мая 1914 года на ж/д разьезде Пайгарма в настоящее время Рузаевского района Республики Мордовия в семье железнодорожника. После окончания семи классов школы и школы фабрично-заводского ученичества работал на Оренбургском паровозоремонтном заводе. В 1932 году Рубцов был призван на службу в Рабоче-крестьянскую Красную Армию. В 1935 году он окончил Иркутскую военную школу авиатехников, в 1940 году — Энгельсскую военную авиационную школу лётчиков. Война застала Анатолия Петровича в Белоруссии. В первые дни боев его самолет был сбит над территорией, занятой врагом. Немало километров пришлось пройти ему, немало испытаний пришлось перенести, чтобы перейти линию фронта, добраться до своих и снова попасть в авиацию.
С июля 1942 года он вновь в рядах действующей армии. Командир звена 4-го авиаполка 3-й авиадивизии дальнего действия (АДД), капитан Рубцов к октябрю 1942 года совершил на своем «ИЛ-4» 60 успешных вылетов в глубокий тыл врага на бомбардировку Берлина, Кёнигсберга, Будапешта, Данцига, Варшавы и других городов. Массированные бомбардировочные удары были нанесены по военно-промышленным объектам, находящимся в глубоком тылу врага. Эти вылеты были продолжительностью от 7 до 11 часов и требовали от летчиков выносливости и большого мастерства.
Всю войну рядом со своим командиром был его бессменный экипаж: штурман гвардии майор Рябов, стрелок – радист гвардии старшина Левкин и воздушный стрелок гвардии старший сержант Абрамов. За всю войну ими было совершено более 880 боевых вылетов на уничтожение живой силы и техники противника, большинство из которых - ночью.
«Самолеты вышли строго к цели...» - это легко сказать или написать. Невозможно представить всю сложность каждого тысячекилометрового полета ночью, во тьме, без видимых ориентиров, в облаках, в тумане, когда единственные указатели - это приборы и счетная линейка. Летчик ведет самолет от своего аэродрома. На карте это точка. Надо пройти вслепую более тысячи километров и найти вторую точку. Но это уже немецкий город, завод, поезд, колонна танков. Достаточно уклониться с места на долю градуса, чтобы уйти от цели на много километров.
Полеты эти были тяжелыми не только по метеорологическим условиям, по дальности и продолжительности, а еще и потому, что цели, которые предстояло бомбить, усиленно защищались противником.
За образцовое выполнение заданий командования по уничтожению вражеских стратегических объектов в глубоком тылу противника и проявленные при этом мужество и отвагу Указом Президиума Верховного Совета от 31 декабря 1942 года Анатолию Петровичу Рубцову было присвоено звание Героя Советского Союза.
В ноябре 1943 года назначен заместителем командира полка. С 1944 – командир 4-го авиационного полка, 3-й авиационной дивизии авиации дальнего действия (АДД), капитан. Не зная устали, в сложных условиях зимы и весны 1944 года громил он фашистов в глубине Германии - далеко от линии фронта. Мужество и отвага командира полка были отмечены Орденами Красного Знамени, Великой Отечественной войны, Суворова 3 степени, Красной Звезды, медалями «За оборону Москвы», «За оборону Ленинграда», «За оборону Сталинграда», «За взятие Берлина», «За боевые заслуги» и другими.
День Победы 9 мая 1945 года встретил в Берлине у стен Рейхстага, начертав на его колоннах фамилии своего боевого экипажа.
После окончания войны А.П. Рубцов продолжал службу в Военно-Воздушных силах, окончил курсы при Военно-воздушной академии. Все силы, весь богатый опыт отдавал делу обучения и воспитания первоклассных летных кадров, укреплению оборонной мощи страны.
21 августа 1954 года полковник Анатолий Петрович Рубцов погиб при выполнении учебного полета. У боевой машины, в кабине которой находился экипаж Рубцова, отказали двигатели. Членам экипажа было приказано оставить самолет. Сам командир, во что бы то ни стало, пытался спасти новую боевую машину. К сожалению, сделать этого не удалось. Похоронен отважный летчик на месте гибели - в городе Мелитополь (Украина).
В память об отважном летчике, его именем назван улица в городе Рузаевка Республики Мордовия.  | 
