Nacido en la localidad alemana de Bad Hersfeld, Shkodran Mustafi es hijo de padres albaneses procedentes de Gostivar (Macedonia). Se crio en Bebra, un pueblo cercano en el Bundesland Hessen, donde dio sus primeros pasos como futbolista en el club FV Bebra. Posteriormente ingresó en las filas del SV Rotenburg, hasta que en 2006 fue fichado para jugar en las categorías inferiores del Hamburgo, donde se formó como mediocentro defensivo y defensa central.

Su buena progresión despertó el interés de algunos clubes europeos, pero finalmente, en la temporada 2009-2010, Mustafi firmó un contrato de tres años con el Everton inglés. Durante las tres temporadas en las que permaneció allí, no tuvo muchas oportunidades con el primer equipo, por lo que al finalizar su contrato en enero de 2012 decidió firmar por cuatro años y medio con la Sampdoria, que estaba en la Serie B de Italia. En su primera temporada, el equipo logró el regreso a la Serie A.

La temporada siguiente, la 2012-2013, Shkodran fue asentándose en el primer equipo, y en la 2013-2014 se consolidó como titular indiscutible, disputando 30 de los 38 partidos de Liga. Sus grandes actuaciones con el equipo italiano, le permitieron ser convocado con la selección alemana, con la que se proclamaría campeón del mundo en 2014 en Brasil. El 6 de agosto de 2014 se hizo oficial su fichaje por el Valencia CF a cambio de 8 millones de euros.

Llegó con problemas físicos que le impidieron tener el tono físico adecuado para debutar hasta la Jornada 5, pero desde ese momento pasó a ser titular indiscutible, formando una sensacional pareja defensiva con el argentino Nicolás Otamendi, completando una sensacional temporada que finalizó con el conjunto che clasificado para la Champions League. Su segunda temporada en el Valencia no fue buena, principalmente por la desastrosa trayectoria del equipo, que fue eliminado a las primeras de cambio de todas las competiciones y terminó coqueteando con el descenso.

El 27 de agosto de 2016 se oficializó su traspaso al Arsenal inglés por un montante de unos 35 millones de euros.