Nacido en la localidad mallorquina de Andratx, José Palmer se formó como defensa en las categorías inferiores del club deportivo de su ciudad natal. Siendo niño se incorporó a los infantiles de La Salle de Palma, con el que se proclamó campeón de Baleares a los 12 años de edad. Su extraordinaria progresión no pasó inadvertida para los ojeadores de los grandes equipos, fichando en 1967 por el Real Madrid, que lo incorpora a su equipo filial, el Castilla, donde coincide con jugadores como José Antonio Camacho, llegando a participar en alguno partidos amistosos con el primer equipo del Real Madrid.

En 1973 ficha por el Burgos, que acababa de descender a Segunda División, en busca de mayores oportunidades. Palmer permaneció en El Plantío hasta 1977, tres cursos durante los cuales vivió diferentes situaciones. En su primera campaña, con José Antonio Naya Mella en el banquillo, apenas participó en 5 encuentros oficiales, aunque logró marcar un gol. La segunda fue la de su consagración, ya que bajo las órdenes del francés Lucien Muller fue titular indiscutible, participando en 34 encuentros y logrando el histórico ascenso del equipo castellano a Primera División. Ya en la máxima categoría, se convirtió en pieza fundamental para Marcel Domingo, que lo alineó en 36 encuentros anotando un gol. En el verano de 1977, el fichaje del técnico francés por el Valencia CF cambió su destino, ya que Marcel se llevó a Palmer junto a Manzanedo y Cabral, al equipo de Mestalla.

La llegada de Palmer a Valencia fue acogida de buen grado por la afición valencianista. Se trataba de un lateral zurdo rápido, con experiencia y relativo nombre en Primera División, eficaz en defensa y con buena capacidad ofensiva. Sin embargo, no fue capaz de ganarle el puesto a Cerveró y pese a que durante su primera temporada tuvo cierta continuidad debido a una lesión de Carrete, la realidad es que su aportación al equipo de Mestalla fue de más a menos: 20 partidos oficiales en su primer año, 15 en el segundo y sólo 5 en el tercero. En Valencia, Palmer añadió los dos primeros títulos a su Palmarés: la Copa del Rey de 1979 y la Recopa de Europa de 1980. Poco después del gran éxito europeo, y consciente de sus escasas opciones en el club valencianista, Palmer fichó por el Levante de Segunda División, donde coincidió con el mítico Johan Cruyff, permaneciendo hasta 1983, año en el que decidió colgar las botas.

José Palmer falleció el 10 de junio de 1995 en Andratx, su localidad natal, a los 42 años de edad, aquejado de una grave enfermedad.