一九五四年，已故何明華會督從英國皇家海軍當局購進一艘退役登陸艇，取名為「聖西門號我主的船」。這艘船舶從此成為漁民及清貧子弟之求學宿舍。其後蒙香港政府資助，復取得其他社團、教會及世界各地熱心人仕不斷支持，「聖西門」的服務範圍逐漸擴散到教育、社會服務及醫療各方面，工作單位包括學生宿舍、幼兒中心、遊戲中心、諮詢服務、青少年職業訓練、安老服務，以至於診療所及牙科診所等。

一九八零年代，經濟漸趨蓬勃及受經濟轉型之影響，漁民及清貧子弟數量銳減，機構遂逐步將各類針對性服務縮減。

一九九零年代，機構更將資源集中於學前教育服務，視培育幼苗成材為服務重點。鑑於服務方向之轉變，機構於一九九五年開始， 配合服務之提供，將機構名稱「聖西門漁民及工友子弟之家」改為「聖公會聖西門社會服務處」，使能清楚表達聖西門社會服務處之工作。

二零零四年，為了提升管理並應對社會不斷變化的需求和期望， 機構的執行委員會決定將聖西門的管理和營運委託予香港聖公會福利協會執行，使機構的工作能在專業領導下繼續靈活並具效益地服務有需要的受眾。

二零二一年，服務處完成公司化的法律程序，並已成為一所獨立註冊的慈善機構，有助加強機構的管治及發展空間。