Aníbal Pérez nació en la ciudad paraguaya de Itá, situada en el Departamento Central a 35 km de Asunción. Se formó futbolísticamente en las categorías inferiores del Sportivo Iteño, hasta que los ojeadores del Olimpia de Asunción se lo llevaron a la capital para jugar en el equipo juvenil. Defensa duro y fornido, sólo tardó un año en despertar el interés del Cerro Porteño, uno de los clubes punteros del país sudamericano, por lo que en el verano del 63, con sólo 19 años, fue fichado por el club albirrojo, justo después de haber logrado el subcampeonato sudamericano con la selección juvenil uruguaya. Titular con el club de Asunción, participa en la Copa Libertadores y poco a poco va consolidándose en el once inicial. Tuvieron que pasar dos temporadas para que el Cerro Porteño volviera a ser campeón. Fue en el frenético verano de 1968, cuando Aníbal fue convocado para jugar con la selección contra el Brasil de Pelé y se cerró su fichaje con el Valencia CF.

Aníbal llegaba para sustituir a Manolo Mestre en el centro de la defensa valencianista, pero su llegada no estuvo exenta de polémicas debido al famoso escándalo de los oriundos de finales de los años 60. Debutó como titular en la primera jornada de Liga en Pontevedra, pero le costó hacerse con un puesto en el once inicial. Los cambios de entrenador (Mundo, Joseíto y Buqué pasaron por el banquillo durante sus dos primeras campañas) y la inestabilidad del equipo no le ayudaron, completando 35 titularidades entre Liga, Copa y Copa de Ferias. La llegada de Alfredo Di Stéfano supuso un punto de inflexión para su carrera deportiva en Mestalla. Titular indiscutible en la zaga, formó una infranqueable muralla con Sol, Antón y Tatono, jugando todos los partidos de la triunfal Liga de 1971, en la que el equipo acabó siendo el menos goleado de la competición, con la espectacular cifra de 19 goles en 30 partidos. Gran parte del mérito de aquella Liga radicó, sin lugar a dudas, en la línea defensiva.

Aníbal era un central duro, pero no violento. Fiel al corte defensivo de los centrales sudamericanos, se dejaba hasta la última gota de sudor en el campo. Insuperable por velocidad o al regate, robaba el balón al rival en espectaculares barridas de las que salía con el balón controlado. Se ganó el respeto y el cariño de la grada por su actitud y entrega sobre el terreno de juego. Sufrió varias lesiones que fueron menguando sus apariciones, especialmente la que sufrió en Split en el partido de vuelta de la Copa de Europa en septiembre de 1971 y que le mantuvo dos meses en el dique seco. La desastrosa temporada 74-75, con Ciric y Milosevic en el banquillo, la pasó casi en blanco, por lo que en el verano de 1975 decidió poner punto y final a su aventura en Mestalla para firmar con el Real Valladolid, con el que jugó 21 partidos en Segunda para volver a jugar una temporada a Cerro Porteño y una final en el Deportivo Pereira de Colombia.