De composition triangulaire, le monument prend la forme d’une stèle entourée d’un parapet et repose sur un emmarchement, le tout réalisé en granit gris pâle. La stèle porte le buste de Louis-Octave Crémazie, considéré comme le premier poète national, au-dessous duquel on retrouve une lyre traversée d’une branche de laurier, symbole de l’inspiration du poète. Au bas du piédestal se trouve un soldat mort au combat, tenant dans ses mains le drapeau de Carillon, que les forces françaises dirigées par le général Montcalm ont utilisé en 1758, à la bataille de Fort Carillon dans l’État de New York. Le vers « Pour mon drapeau je viens mourir ici », qui se trouve sous le soldat, est tiré du poème Drapeau de Carillon de Crémazie, composé à l’occasion du centenaire de cette victoire. Au dos du monument, une plaque de bronze a été installée juste avant l’inauguration, et se lit : « Érigé par ses compatriotes du Canada et des États-Unis, inauguré le 24 juin 1906. »

Le monument est inauguré en 1906 au square Saint-Louis, en bordure de la rue Saint-Denis, par Louis Fréchette, instigateur de sa réalisation, devant 30 000 personnes. En 1972, au cours d’une campagne d’embellissement, le comité exécutif en autorise le déplacement à la place Crémazie, à l’angle des boulevards Crémazie et Saint-Laurent. C’est en 2002 que le monument est réinstallé au square Saint-Louis avec l’ajout d’un emmarchement.