Marshall era de Londres y desde pequeño amó la música, de modo que se convirtió primero en cantante y después en baterista. Al inicio de los 60 hizo ingeniería electrónica y abrió un local donde vender instrumentos y demás. Como narra el legendario Pete Townsend, la proverbial guitarra de The Who, lo que halló fue una solución para aumentar el volumen y obtener, además, sonidos más profundos y distorsionados.
Jim experimentó en su profesión e inventó el amplificador que lleva su nombre, que es sencillamente un sinónimo, entre los músicos, de poder. Es la presencia escénica infaltable, una columna de Marshalls, en cualquier concierto de bandas de rock. Pero sobre todo, su invento revolucionó al rock moderno con ese estertor "sacro", como lo llamó el crítico Lester Bangs.