Gall begon zijn spelersloopbaan bij amateurverenigingen De Vogels en Velocitas, alvorens in het seizoen 1983/84 zijn debuut te maken voor FC Groningen. De verdediger speelde in totaal drie periodes voor FC Groningen, drie voor BV Veendam en een jaar voor SC Heerenveen (1990/91). In 16 seizoenen betaald voetbal kwam de Groninger tot 383 duels waarin hij 36 wist te scoren.

Vanaf 2001 was Gall assistent-trainer bij FC Groningen totdat buurman BV Veendam hem medio 2005 het hoofdtrainerschap aan De Langeleegte aanbood. In het vierde jaar bij de Veenkolonialen stelt de club opnieuw teleur met een 16e plaats in de winterstop.

Desondanks ziet Veendam voldoende perspectief om met Joop Gall verder te gaan en op nieuwjaarsdag in 2009 wordt bekendgemaakt dat Joop Gall en BV Veendam een contract voor nog eens 2 seizoenen hebben ondertekend.