Предприниматель, меценат, ценитель живописи – такой человек не мог не оставить следа в культурной жизни русского общества. Один из основателей Третьяковской галереи, он, в отличие от брата Павла Михайловича, коллекционировал полотна в основном западноевропейских мастеров, прежде всего представителей «барбизонской школы» и академической живописи. Приобретённые им работы Жана-Франсуа Милле, Теодора Руссо, Камиля Коро и Шарля-Франсуа Добиньи составляют целый пласт изумительных страниц истории мировой живописи.
Сергей Михайлович не считал себя профессиональным коллекционером, но именного его предпринимательское чутьё позволило им с братом собрать такую коллекцию, которая сейчас является национальным достоянием России.
А начиналось всё с основания фирмы «Магазин полотняных, бумажных, шерстяных товаров, русских и заграничных Торгового дома П. и С. братьев Третьяковых и В. Коншина в Москве», прядильной и ткацкой мануфактуры в Костроме. Уже здесь в Сергее Михайловиче проявились задатки мудрого общественного деятеля: если для Павла Михайловича семейное предприятие было в первую очередь источником дохода для пополнения коллекции, то Сергей Михайлович первым делом видел в этой фабрике шесть тысяч душ живых людей. Начиная с 19 лет, он старался, как мог, помогать рабочим и крестьянам, постоянно делал пожертвования Училищу живописи, ваяния и зодчества, Московской консерватории, тому или иному реальному училищу.
Неуёмная энергия, организаторские способности и заразительный энтузиазм не только способствовали включению Сергея Михайловича в общественную жизнь Москвы, но и существенно изменили её. Он не раз инициировал сбор пожертвований для нужд военных, финансировал добровольную охрану «Священная дружина», активно противодействующую терроризму, продвигал просветительские идеи, в том числе обеспечил весомое увеличение затрат государства на образование (с 230 до 375 тысяч в год), организовал новые родильные приюты, бульвары, скверы, на собственные деньги издавал «Художественный журнал». Дважды избирался городским головой Москвы.
Также вместе с братом на их личные средства основал Арнольдо-Третьяковское училище для глухонемых детей, в котором преподавались не только общие дисциплины, но и давалось профессиональное образование.
В 1892 году Сергей Михайлович неожиданно скончался, оставив коллекцию в дар брату, с условием, что часть картин всё же отойдёт в дар Москве. Но Павел Михайлович решил иначе – он присоединил коллекцию брата к своей и передал общую галерею вместе с особняком в Лаврушинском переулке государству. Так, в августе 1893 года состоялось открытие музея, именуемого «Московская городская галерея имени братьев Павла и Сергея Третьяковых» (ныне Государственная Третьяковская галерея).