Fichado por 7,2 millones de euros en la víspera del comienzo de la temporada 2001-2002, Francisco Rufete recorrió caminos dispares hasta llegar a lo más alto del fútbol español. Fue un adolescente prometedor en las categorías inferiores del FC Barcelona, pero se le permitió abandonar el Camp Nou tras diputar un único partido con el primer equipo en 1995-1996 para fichar por el CD Toledo, y después por el RCD Mallorca.

No fue hasta su llegada al Málaga CF en 1998 cuando realmente despegó su carrera. El gran momento de forma de Rufete en su primera temporada en Málaga llevó al equipo de La Rosaleda al ascenso en 1999. Le llevaría a ser internacional con España y marcar 14 goles en 85 partidos con el club andaluz antes de ser comprado por el Valencia CF en 2001.

Rufete comenzó muy bien su carrera en Mestalla. Marcó sus dos primeros goles en Liga en la histórica remontada por 2-3 contra el RCD Espanyol en Montjuic, además de lograr otros goles importantes a lo largo de la temporada en la que el Valencia logró el título en 2002. A sus 32 partidos jugados esa temporada le siguieron 28 la siguiente, a pesar de que el equipo no pudo repetir el triunfo en el campeonato.

Rufete era un jugador trabajador y sacrificado. Jugaba por banda derecha y no paraba un solo segundo en todo el partido. Tenía regate y llegada, y su rendimiento fue de menos a más. En la temporada 2003-2004 fue uno de los motores del equipo para lograr el sensacional doblete, proclamándose campeón de Liga y Copa de la UEFA, jugando 64 minutos en la final disputada en Goteborg, que terminó con victoria por 2-0 contra el Olympique de Marsella.

Las dos siguientes temporadas no fueron tan buenas para Rufete tras la marcha de Rafa Benítez. En la primera, bajo las órdenes de Ranieri, se contagió del mal momento de todo el equipo y en la segunda, su juego no convenció a Quique Flores, quien en el verano de 2006 decidió prescindir de sus servicios, por lo que Rufete marchó al RCD Espanyol con la carta de libertad, llevándose consigo el afecto y cariño de los aficionados valencianistas.

En julio de 2009 Rufete firmó con el Hércules dos temporadas. Tras el descenso a Segunda al término de la temporada 2010-2011, fue inicialmente descartado por el club y finalmente se retiró al no lograr encontrar acomodo en ningún. Tras sacarse el título de entrenador profesional, en junio de 2013, Amadeo Salvo, presidente del Valencia CF contrató a Rufete como mánager de las escuelas y de la cantera del equipo. Tras la llegada del inversor de Singapur, Peter Lim, y la marcha de Amadeo Salvo, Rufete dimitió de su cargo el 1 de julio de 2015.