苗栗市文昌祠，曾經是書院、縣衙臨時辦公室、文人詩社；現在是三級古蹟，也是苗栗縣考生祈求金榜題名的信仰中心。
西元 1882 年（清光緒 8 年），苗栗地方耆紳例貢生林際春等人，倡議捐建文昌祠，延請地理師王東海，選定苗栗市綠苗里現址，依「戍山辰向」方位起建。
1885 年（光緒 11 年）文昌祠完工，林際春自新竹背負文昌帝君泥塑神像入祠安座，左次間配祀倉頡聖人、右次間配祀韓文公。值得注意的是，客家地區文昌祠配祀韓文公（韓愈），因為韓愈曾派任潮州刺史；閩南地區的文昌祠則配祀朱熹，因為朱熹曾在閩南講學，不同地緣、族群，祭祀對象也各有不同。
1889 年（光緒 15 年）苗栗設縣，因縣衙尚未興建，苗栗知縣林桂芬到任，先借住文昌祠辦公；同年冬天地方官紳謝維岳等人倡議在文昌祠倉頡廳創辦英才書院，成立苗栗縣第一所官民合辦地方教育場所。
文昌祠正殿案桌設有神位牌，中間是「至聖孔子神位」，
1935 年（民國 24 年）4 月 21 日台灣中部大地震，文昌祠正殿屋頂破損、泥塑神像因雨淋塌毀，
所幸主要的樑柱木石結構受損輕微，得以原貌修復，文昌帝君神像改成陶土塑像。
左書「文昌帝君」，
右書「蒼頡聖人」，與魁星爺神像一併供學子朝夕膜拜。
另有一座古鐘與書院有關，吊在中埕左廂廊，鐘上有「文昌宮」、「英才書院」、「丁卯年」等字樣，丁卯年經查證是 1927 年（民國 16 年）補鑄，應非建祠時原物。
英才書院運作 6 年，直到日本人治台後，禁止漢人學習漢文，推動新式教育而廢止，不過地方詩文愛好者仍透過吟詩創作，延續傳統漢學文化。
1927 年（民國 16 年）中秋，苗栗、竹南、大湖地區文人雅士成立苗栗詩社（簡稱栗社），在文昌祠及熱心人士的支應下，每月開課或舉辦擊缽吟詩大會，每月集會詩稿油印詩集專刊，每年春、秋擇日舉辦詩人大會，成為中北部最名的吟詩大會，盛況空前。
這些歷史，讓苗栗市文昌祠，不但是地方行政發祥地，也是文教中心，在苗栗縣文化教育發展過程，扮演相當重要的角色。
文昌祠最早的格局是二進加左護龍十六間，後來加建右護龍一排，中部大地震兩側木造廂房損壞殆盡，因為震災後經濟蕭條，重建時只建右廂房，供廟祝執事人員辦公使用。
日治時期，文昌祠當過憲兵屯駐所、公學校分教場、支廳宿舍用途，二次大戰期間，前埕也曾經施作三處防空壕，左廂房原址規劃成市場用地，台灣光復後，右廂房租給商家使用難以收回，因為沒有自己的廂房，文昌祠的空間略顯狹窄。
1969 年（民國 58 年），文昌祠管理委員會曾經進行大規模整修，
白灰牆面改貼瓷磚，左右山牆、照牆改建，1983 年（民國 72 年）因大木結構彩繪剝落，重新油漆。
文昌祠建築物因為歲月自然侵蝕、白蟻侵害、周遭環境被占用等因素，
正殿、牆廊木架結構腐朽嚴重，有安全顧慮，雖然管理單位稍事整修，
加蓋石綿瓦屋頂等設施補救，但傳統建築風貌盡失。
1985 年（民國 74 年）內政部公告指定為三級古蹟後，古蹟維護修復工作隨即展開，
經過調查、設計，古蹟修復工程於 1997年（民國86年）開工，2002年（民國91年）完工。
修復工程依保存原色彩、形貌，採用原用或相近材料，使用傳統技術方法的原則辦理，從地面鋪石、大木結構到屋瓦脊飾，全面進行抽換替代或解體修補工程，讓文昌祠擺脫歲月侵蝕痕跡，展現傳統建築的原貌與丰采。
民間認為，文昌帝君掌司考試與考運，每逢考季，文昌祠香火鼎盛，大批信眾參拜，
影印准考證許願，祈求金榜題名，高中再還願，成為各地文昌祠特色。
苗栗文昌祠跟孔廟一樣，平時不開啟中門，
除了每年春、秋二祭開中門之外，依照祠規，參加國家級考試及格或取得博士學位者，
也可以準備三獻禮 「開中門」祭聖，光耀門楣。
小時候 爺爺說有字的紙不能亂丟 要用燒的 惜字亭
與人差不多高的抱鼓石
抱鼓石 不是好看 而是為了鞏固門柱而立的
石柱的方形基座 雕刻相當精細 可惜 風化後已經模糊了
文昌祠也是古蹟 老爺說妳不必跑遠 苗栗市就有了
