А.Ф. Иоффе родился 29 октября 1880 г. в небольшом городке Ромны Полтавской губернии. В Ромнах не было гимназии – имелось лишь мужское реальное училище, в которое он и поступил. Физикой Иоффе заинтересовался еще в училище, благодаря преподавателю физики Милееву, который в студенческие годы слушал лекции самого Менделеева. Но Иоффе часто подчеркивал, что: уровень преподавания в училище был очень низким, большинство учителей были прежде всего вероподдаными чиновниками.
Как известно, до революции для поступления в университеты необходимо было знание древних языков, которые преподавались только в гимназиях. Поэтому по окончании реального училища А.Ф. Иоффе остановил свой выбор на Петербургском технологическом институте, в котором, по его мнению, в наибольшей степени можно было научиться физике. В этом институте преподавали выдающиеся ученые, в частности И.И. Боргман, Н.А. Гезехус, Б. Л. Розинг и др.
В Технологическом институте Иоффе занимался еще и чисто инженерными работами, в основном во время летней практики. По окончании Технологического института (1902 г.) А.Ф. Иоффе, заручившись рекомендациями Н.А. Гезехуса и директора Палаты мер и весов профессора Н.Е. Егорова, направился в Мюнхен, где в те годы работал В.К. Рентген. В годы работы в лаборатории Рентгена (1903–1906) А.Ф. Иоффе выполнил ряд крупных исследований. К их числу нужно отнести прецизионный эксперимент по определению «энергетической мощности» радия. Работы А.Ф. Иоффе по механическим и электрическим свойствам кристаллов, выполненные в мюнхенские годы, носили систематический характер. В процессе их проведения на примере кристаллического кварца им был изучен и правильно объяснен эффект упругого последействия. Изучение электрических свойств кварца, влияния на проводимость кристаллов рентгеновских лучей, ультрафиолетового и естественного света привели А.Ф. Иоффе к открытию внутреннего фотоэффекта, выяснению пределов применимости закона Ома для описания прохождения тока через кристалл и исследованию своеобразных явлений, разыгрывающихся в приэлектродных областях. Все эти работы Иоффе закрепили за ним репутацию физика, глубоко вдумывающегося в механизмы изучаемых им процессов и с исключительной точностью проводящего опыты, расширяющие представления об атомно-электронных явлениях в твердых телах.
После блестящей защиты докторской диссертации в Мюнхенском университете в 1905 г., А.Ф. Иоффе все-таки отказывается от лестного предложения своего учителя Рентгена остаться в Мюнхене для продолжения совместных исследований и преподавательской работы и возвращается в Россию. С 1906 г. А.Ф. Иоффе начал работу в должности старшего лаборанта в Петербургском политехническом институте.
В физической лаборатории института, которую возглавлял В.В. Скобельцын, Иоффе в 1906–1917 гг. были выполнены блестящие работы по подтверждению эйнштейновской квантовой теории внешнего фотоэффекта, доказательству зернистой природы электронного заряда, определению магнитного поля катодных лучей (магистерская диссертация Петербургский университет, 1913 г.). Наряду с этим А.Ф. Иоффе продолжил и обобщал в докторской диссертации (Петроградский университет, 1915 г.) начатые еще в Мюнхене исследования по упругим и электрическим свойствам кварца и некоторых других кристаллов.