Выходец из старинного польского шляхетского рода, Андрей Вышинский избрал для себя путь русского революционера. В 1903 году он вступил в меньшевистскую организацию РСДРП, которая занимала прочные позиции в Закавказье (семья Вышинских жила тогда в Баку). Следует заметить, что расхождения между большевиками и меньшевиками в то время еще носили характер теоретических споров, а в революционной борьбе большевики и меньшевики часто выступали вместе.
В 1901 году Вышинский поступил на юридический факультет Киевского университета, но окончил его только в 1913 году (так как исключался за участие в студенческих беспорядках), был оставлен на кафедре для подготовки к профессорскому званию, но отстранен администрацией как политически неблагонадежный.
В 1904 году Андрей Вышинский познакомился со Сталиным: в этом году состоялся знаменитый Батумский процесс по делу проведения рабочей демонстрации. Иосиф Сталин был одним из организаторов демонстрации и предстал перед судом в качестве обвиняемого, а молодой адвокат Андрей Вышинский защищал его.
В 1905–1907 годах Вышинский участвовал в революционных выступлениях в Баку. Вначале 1908года он был осужден Тифлисской судебной палатой за «произнесение публично противоправительственной речи». Отбыл год лишения свободы в Баиловской тюрьме, где тогда же отбывал срок заключения Сталин.
После Октябрьской революции 1917 года А. Вышинский вышел из меньшевистской партии и вступил в РКП(б). В 1920–1921 годах он преподавал в Московском университете и занимал должность декана экономического факультета Института народного хозяйства имени Плеханова. В 1923–1925 годах Вышинский был прокурором уголовно-следственной коллегии Верховного суда СССР. Выступал в качестве государственного обвинителя на многих процессах: Дело «Гукон» (1923); Дело ленинградских судебных работников (1924); Дело Консервтреста (1924).
В 1925–1928 годах А.Я. Вышинский— ректор Московского государственного университета. В 1928–1930 годах он возглавлял Главное управление профессионального образования (Главпрофобр). В 1928–1931 годах был назначен членом коллегии Наркомата просвещения РСФСР.
Одновременно он продолжал выступать государственным обвинителем на политических процессах и в 1931 году стал прокурором РСФСР, затем заместителем наркома юстиции РСФСР, с 1933 года – заместителем Генерального прокурора СССР, а в 1935 году— Генеральным прокурором СССР.
Вышинский выступал как прокурор на всех трех Московских процессах 1936–1938 годов. Его судебные речи отличаются строгой логикой в изложении фактов, последовательной системой доказательств и принципиальной непримиримой позицией в отношении тех, кто являлся врагами советского строя.
Вместе с тем, А.Я. Вышинский требовал от советских органов юстиции безусловного исполнения закона, – так, например, он настоял на пересмотре принятого после убийства Кирова решения о высылке из Ленинграда бывших дворян, генералов, интеллигенции (большинство из них вернулись в Ленинград, их восстановили в правах). Добился пересмотра дел инженеров и техников угольной промышленности, проходивших по «делу Промпартии» и их реабилитации.