La caserne militaire qui abrite la médiathèque a été construite entre 1750 et 1755 par Jean Querret. Elle est rebaptisée caserne Lyautey en 1886 par égard à deux généraux comtois. En 1963, la ville rachète cette caserne ; elle y installe d’abord le CRI (centre de recherche et d’information), puis la médiathèque Pierre Bayle en 1986, rendant ainsi hommage au célèbre philosophe français.
Bibliothèque centrale du réseau bisontin, elle compte 85 000 documents répartis sur deux niveaux, de nombreuses places de travail, et un jardin. Une programmation d’événements variés est organisée tout au long de l’année.