An de grâce 1327, la chrétienté est en crise. Les hérésies sont traquées. Le pape lutte à la fois contre l'empereur Louis de Bavière et contre ses ennemis intérieurs. Il s'oppose à tous ceux qui souhaitent réformer l'Eglise.
Guillaume de Baskerville, moine franciscain, ex-inquisiteur et conseiller de l'empereur se rend, en compagnie d'Adso, un jeune bénédictin, qui est aussi le narrateur du roman, dans une abbaye bénédictine du Sud de la France. Ils doivent participer à une importante rencontre entre des franciscains prônant la pauvreté du Christ et les partisans du pape. Cette réunion doit permettre aux deux parties de trouver un accord.
L'abbaye vit des heures troublées. Dès son arrivée, l'abbé Abbon demande à Guillaume de Baskerville d'enquêter sur les causes de la mort violente d'un de ses pensionnaires. En effet pendant la nuit, Adelme d'Otrante, un jeune moine a chuté de l'Edifice, une importante bâtisse dans laquelle se trouvent à la fois le réfectoire et l'immense bibliothèque de l'abbaye.
Pour les besoins de son enquête Guillaume de Baskerville va à la rencontre des moines de l'abbaye. Il fait la connaissance de Salvatore, un moine difforme qui parle une langue étrange, brassage de toutes les autres, Ubertin de Cassales, un "homme bizarre", un être intransigeant qui "aurait pu devenir un des hérétiques qu'il a contribué à faire brûler", Venantius, un helléniste érudit, Jorge,un vieillard aveugle dévoré par un orgueil excessif et qui blâme le rire, Séverin, un curieux herboriste, et enfin Berenger, l'aide du bibliothécaire qui semble avoir eu des relations ambiguës avec la victime. Ces rencontres permettent à Guillaume de Baskerville de découvrir quelques règles et secrets de l'abbaye. Il acquiert assez rapidement la conviction qu'Adelme d'Otrante n'a pas été assassiné, mais qu'il s'est suicidé.
Le second jour, Venantius, l'helléniste est trouvé mort dans une barrique de sang de porc. Guillaume est persuadé que ces deux morts sont liées à la bibliothèque de l'abbaye.
Cette bibliothèque, la plus grande de la chrétienté, est construite comme un lieu secret protégée par un labyrinthe, ayant pour but de la protéger des intrus. Guillaume et Adso manifestent le souhait de la visiter. Mais cette visite leur sera toujours refusée. C'est un lieu interdit, connu du seul Malachie, le bibliothécaire et de Bérenger, son aide. Elle représente le centre mystérieux de l'abbaye. Les moines et les visiteurs n'ont accès qu'au scriptorium, lieu d'étude dans lequel ils peuvent s'adonner à la lecture et à la copie.
Guillaume et Adso découvrent que certains livres "interdits" de la bibliothèque portent, dans le catalogue, la mention " finis africae". Seuls Malachie, le bibliothécaire et Bérenger, son aide semblent connaître le secret de ces mentions.
Guillaume poursuit son enquête et commence à soupçonner Bérenger. Celui-ci est le dernier à avoir vu Adelme en vie et craignait que Venantius ne dévoile les relations qu'il entretenait avec le jeune moine.
Guillaume et Adso décident, malgré les interdictions, de se rendre dans la bibliothèque; ils essaient de retrouver le livre que Venantius étudiait dans le scriptorium, mais celui-ci a disparu. Il ne reste qu'un vieux parchemin écrit en grec et qui comporte des annotations de Venantius. Alors qu'ils étudient ce parchemin, ils s'aperçoivent qu'ils ne sont pas seuls dans ce lieu secret. Le mystérieux visiteur parvient à dérober les lunettes de Guillaume qui devient ainsi incapable de lire. Guillaume et Adso empruntent un labyrinthe, et parviennent, avec de la chance, à sortir de la bibliothèque.
Le troisième jour, Guillaume et Adso parviennent à déchiffrer les annotations de Venantius. Mais le texte reste énigmatique. Guillaume souhaite interroger Bérenger, mais celui-ci a disparu. Il met à profit ce contretemps pour essayer de résoudre l'énigme du labyrinthe. Il y parvient et est bien décidé à y retourner la nuit suivante. Le soir Adso découvre dans les cuisines une jeune fille. Cette ravissante inconnue souhaite obtenir de la nourriture en échange de ses charmes. Elle séduit le jeune Adso.
Durant la nuit, on retrouve dans les bains le corps de Béranger. Guillaume est intrigué par les taches brunes qu'il porte sur ses doigts et sur sa langue. Il semble qu'il ait été empoisonné. Guillaume découvre que c'est Béranger qui était dans la bibliothèque, la veille au soir. Il parvient à retrouver ses lunettes.
Ces morts brutales créent un profond malaise au sein de l'abbaye. Le lendemain arrivent successivement le groupe de franciscains, amené par Michel de Césène, puis les émissaires du pape à la tête desquels se trouve l'inquisiteur Bernard Gui, dont la réputation de cruauté n'est plus à faire. L'abbé "soucieux de la bonne réputation de son monastère" craint pour l'avenir de son abbaye. Guillaume et Adso poursuivent discrètement leur enquête. Ils s'introduisent à nouveau dans le labyrinthe et en affinent le plan. Ils ne parviennent pas à percer le mystère de la pièce, finis africae. En effet, ils ne connaissent pas le code qui leur permettrait d'en franchir le seuil.
Lorsqu'ils sortent de la bibliothèque, ils croisent l'inquisiteur Bernard Gui qui a déjà commencé à imposer sa loi. Il a appréhendé la jeune inconnue qu'avait croisé Adso la veille et Salvatore. Ce quatrième jour est aussi l'occasion du premier regard hostile échangé entre Guillaume et Bernard Gui. Les deux hommes ne s'apprécient guère.
Le cinquième jour, les discussions politiques et religieuses reprennent. Mais elles sont vite stoppées par la découverte d'un nouveau cadavre. Séverin, l'herboriste, est découvert la tête broyée. Bernard Gui procède à l'arrestation de l'intendant Remigio, un ancien franciscain, qu'il soupçonne d'être l'auteur de ces assassinats. Il organise un procès au cours duquel sont jugés Remigio et les deux prisonniers de la veille : Salvatore et la jeune inconnue. Sous la torture, Salvatore passe aux aveux et reconnaît tous les crimes dont Bernard Gui l'accuse. De même Remigio qui souhaite échapper à la torture, avoue être un hérétique et un criminel. La jeune inconnue est, elle, accusée de sorcellerie. Avec ce procès, Bernard Gui et ses hommes marquent des points. Il semble qu'ils aient percé le mystère de ces meurtres, et que de plus l'assassin soit un ancien franciscain.
Mais le lendemain, un nouveau crime est commis. Cette fois, c'est Malachie, le bibliothécaire, la victime. Lui aussi a le bout des doigts couverts de taches brunes. Guillaume décide de poursuivre son enquête. Il est persuadé qu'il existe un lien entre le livre disparu et ces meurtres.
L'abbé ordonne à Guillaume de stopper son enquête. Mais celui-ci souhaite en avoir le cœur net. Durant la nuit, il retourne avec Adso dans la bibliothèque. Ayant trouvé le code secret, ils parviennent à rentrer dans finis africae, la pièce mystérieuse. Ils y découvrent Jorge, le vieillard aveugle, qui les attend. Il les laisse lire le livre tant convoité, et qui a été la cause de tant de morts. Il s'agit d'un exemplaire unique d'un texte d'Aristote sur l'humour et le rire, le livre II de la Poétique. Jorge tente alors de s'enfuir. La bibliothèque prend feu, détruisant ainsi cet unique ouvrage que le vieillard aveugle jugeait blasphématoire, qu'il n'était pourtant pas parvenu à détruire et qui avait entraîné tant de morts...
