В колледже Джон увлекся вошедшим в моду рок-н-роллом, и предпринял первые попытки музицирования в составе рок-группы. Поскольку клавишные тогда были не в моде, Джону пригодилось умение игры на бас-гитаре, более того — он показал себя в полном смысле виртуозом. Однако наибольшее удовольствие ему доставляло создание аранжировок известных хитов для собственного коллектива, а потом он начал создавать и свои собственный материал. Самостоятельная жизнь Джона началась в тот момент, когда в 1963 году он перебрался в Лондон. Ему посчастливилось познакомиться с двумя бывшими участниками группы «Shadows» — Тони Миэном и Джетом Хэррисом, которые быстро оценили талант юноши и пригласили его на гастроли. Именно в это время он взял себе сценический псевдоним Джон Пол Джонс. Почти полтора года мотался по стране Джонс, пока группа не развалилась. Тони Миэн стал продюсером звукозаписывающей компании «Decca» и привлек к работе Джонса. Джон Пол стал зарабатывать по 40 фунтов в неделю (средний английский рабочий зарабатывал около 10 фунтов), снял себе квартиру, и вскоре превратился в заметного музыканта и аранжировщика. Между 1964 и 1968 годами он работал не только с упомянутыми выше группами, но и с Лулу, «Animals», «Dave Clark Five» и многими другими. В апреле 1964 года Джонс даже реализовал собственный сингл, но реакция на него оказалась столь вялой, что Джон Пол вернулся к студийной деятельности. Вскоре он стал музыкальным директором у Микки Моста, что означало дальнейший карьерный рост и прибавку к жалованью. При работе над альбомом «Yardbirds» «Little Games» Джонс вновь пересекся с Пейджем, и оба остались довольны проделанной работой. К лету 1968-го Джонс превратился в респектабельного джентльмена, имеющего собственный автомобиль, дом и семью — жену с дочерью (вскоре у него будет трое детей). Однако он был совершенно не известен публике, а Джонсу очень хотелось славы, и желательно — мировой. Именно в этот момент он позвонил Пейджу и предложил себя в качестве бас-гитариста для нового музыкального проекта Джимми, о котором он где-то слышал.