2004-2007: Frustación
En la temporada 2004-05, regresaron los problemas a Minnesota. Cassell y Sprewell pedían una mejora en su contrato, y Hudson no era feliz como suplente. Garnett fue nombrado en el segundo mejor quinteto de la temporada, pero un balance de 44-38 les dejaba fuera de playoffs tras ocho años consecutivos. La temporada 2005-06 fue de más frustración para KG; sin Cassell ni Sprewell en el equipo, los Timberwolves se convirtieron en un equipo totalmente mediocre, consiguiendo un récord de 33-49. A pesar del juego de Garnett, el equipo logró el segundo peor balance desde que “The Big Ticket” forma parte de él. La campaña siguiente fue por el estilo, con la diferencia de que cosecharon una derrota más. El 10 de mayo de 2007 fue nombrado en el tercer mejor quinteto de la NBA.

En el verano de 2007, el propietario de la franquicia Glen Taylor admitió que tenían planeado traspasar a Garnett, rumoreandose como destino varios equipos como Los Angeles Lakers, Golden State Warriors, Indiana Pacers, Boston Celtics, Phoenix Suns y Dallas Mavericks.