新富市場前身為「綠町食料品小賣市場」，為解決綠町市場因位處偏遠而長期經營不善的問題，日治政府選定新富町三丁目二十一番地現址，將市場移地改建，更名為「新富町食料品小賣市場」。 

1935年1月7日，新富市場動工興建，同年6月28日正式開業，除了市場本體之外，另外也配置了事務所、管理員宿舍、腳踏車停車場、垃圾場及公廁；館內則有肉品、鮮魚、蔬菜、雜貨、菸酒、糕點與食器等30多個攤位。攤商組成與客源台人與日人兼有，市場的商品與生活也台日交融，昔日市場口油炸肉圓的小販、習慣在傍晚走進市場採買晚餐食材的日本主婦們、每逢除夕市場中迴響的日本歌謠，至今仍是耆老們念念不忘的一頁回憶。

然而，新市場的榮景不長，開幕後不久便受到附近流動攤販的生意擠壓，雖然政府為了解決經營的困難，1937年時刻意將外部攤販收容至市場內部統一管理，暫時緩解了市場內攤商凋零的問題，1940年代，二次世界大戰爆發後，人民生活在空襲的陰影中，又加上官方採行民生物資配給制，新富市場的運作於是在時局的影響下陷入停頓。