Milt Jackson, John Lewis et Kenny Clarke ont joué pour la première fois dans un quartet alors qu'ils faisaient partie du Dizzy Gillespie orchestra, de 1946 à 1950. Avec Ray Brown, ils jouaient durant les intermèdes destinés à donner le temps au trompettiste de se reposer. Ils ont enregistré un album sous le nom de Milt Jackson Quartet en 1951. À l'origine, Jackson et Lewis partageaient le rôle de directeur musical, mais Lewis prit l'entière responsabilité de cette position. Le groupe à souvent joué avec des musiciens classiques, mais son répertoire était principalement constitué de pièces standards de Bop et Swing de l'époque. Parmi les compositions originales du groupe, on retrouve "Django" par Lewis (en hommage au guitariste de jazz belge Django Reinhardt), "Afternoon In Paris", aussi par Lewis et "Bags' Groove" par Jackson (Bags était son surnom). Le groupe à d'abord été enregistré par Prestige et plus tard par Atlantic. À la fin des années 1960, entre leurs deux périodes avec Atlantic, ils signèrent avec Apple, le label des Beatles (le seul groupe de jazz avec cette étiquette), et ont lancé deux albums – Under the Jasmine Tree (1967) et Space (1969). Jackson quitta le groupe en 1974 parce qu'il préférait un style de jeu plus libre et parce qu'il était fatigué de jouer pour si peu d'argent (comparativement aux étoiles du Rock and Roll). En 1981, les anciens membres du MJQ se réunissent pour jouer dans des festivals et plus tard puis sur une base permanente à tous les six mois. Le dernier enregistrement du MJQ à été lancé en 1993. Heath, le dernier survivant du groupe, est décédé en 2005.