Theo truyền thuyết, khoảng năm 1840 Cà Mau là vùng đất đồng hoang cỏ dại. Trong dòng người đi khai hoang mở đất có người thư sinh tên Tô Quang Xuân, khi đến bờ kênh Quảng Lộ, Phụng Hiệp đã dựng một ngôi am nhỏ để cầu khẩn trời đất ban cho mưa thuận gió hòa, cuộc sống của bà con ấm no. Ông vừa giảng đạo vừa làn nghề bắt mạch bốc thuốc chữa bệnh cho nhân dân quanh vùng. Tiếng lành đồn xa, mọi người tìm đến ngày càng đông. Một hôm, trong lúc ông đang giảng đạo thì bỗng một con cọp lớn xuất hiện khiến mọi người vô cùng hoảng sợ (Cà Mau xưa kia là vùng đất ‘dưới sông sấu lội trên rừng cọp um). Con cọp bất ngờ đến nằm phủ phục dưới chân ông, thì ra con cọp đang bị thương. Ông cho băng bó và chữa trị cho cọp cho đến khi vết thương lành hẳn cọp mới quay về rừng, ít lâu sau cọp quay lại chùa hàng ngày và nghe giảng kinh cùng các đệ tử khác.
Một số tên lang băm đã cấu kết với tên hương hào trong vùng là Đỗ Văn Viễn đem chuyện này tâu với quan trên tận Gia Định, vu cho ông là “gian đạo”. Ông bị bắt đem ông về Sài Gòn quản thúc. Tài năng đức độ của Tô Quang Xuân
đã làm các quan trên kính phục, ông được đưa về Huế. Tại đây ông thọ giới xuất gia ở chùa Kim Chưởng, pháp hiệu Thích Trí Tâm, huệ căn của ông được các vị cao tăng biết đến, họ báo lên vua nhà Nguyễn. Vua cho ông vào gặp và thử thách rất nhiều (bày yến tiệc thết đãi, trải chiếu hoa có hình Phật cho ông ngồi…), nhưng tất cả đều được ông ứng xử đúng chuẩn mực của người tu hành.
Sau khi thọ giới được 7 ngày, ông viên tịch. Vua sắc phong cho ông làm “hòa thượng” đồng thời ban cho gấm vóc và cử người đưa di hài về đến tận Cà Mau.
Tương truyền ngày ông nhập tháp, chim chóc trong vùng kéo đến rất đông, con hổ mà ông cứu ngày nào cũng đến phủ phục bên tháp và ở mãi nơi đó cho đến chết. Để tưởng nhớ lòng trung nghĩa của con hổ, người dân đã dựng một ngôi tháp thờ, hiện nay tháp vẫn còn phía sau chùa, được các hòa thượng gọi là tháp sư cậu.
Sau khi nhập tháp, dân trong vùng tôn kính gọi là chùa Phật Tổ - xem ông như Phật Tổ. Nhà vua thấy sự đắc đạo của ông đã xuống chiếu sắc phong cho ngôi chùa của ông với tên gọi là “Sắc Tứ Quan Âm cổ tự”.
Ngày nay, chùa Phật Tổ tọa lạc tại khóm 2 phường 4 thành phố Cà Mau, cách trung tâm tỉnh khoảng 1,5km về hướng Tây. Trải qua thời gian chùa đã được tu sửa nhiều lần, tuy nhiên về cơ bản vẫn giữ được hiện trạng của ngôi chùa cổ và các hiện vật phụng thờ, sắc phong của Vua ban vẫn còn lưu giữ cho đến ngày nay.
Hai bên cổng chùa các câu đối vẫn còn nguyên vẹn. Các bức vách bên hông chùa tạc hình ảnh theo thứ tự thời gian, các bức tranh này có giá trị thẩm mỹ tôn tạo thêm giá trị nghệ thuật của ngôi chùa.
Khuôn viên chùa được bố trí hài hòa, tượng Quan Thế Âm lộ thiên đứng trên tòa sen, tay cầm tịnh bình, nét mặt hiền hòa. Chánh điện được làm từ năm 1937. Ngôi tam bảo thờ nhiều tượng Phật chia thành 3 tầng, trên cùng là tượng Thích Ca Mầu Ni với kích thước lớn. Nét đặc sắc trong đường nét kiến trúc ở ngôi tam bảo là đồ sứ ốp vào các họa tiết tạo thành một án thờ có linh vật long - lân - quy - phụng bao quanh ngôi chánh điện như một chiếc lọng che các tượng Phật.
Án thờ hòa thượng Thích Trí Tâm được đặt trong một bệ cao 1,47m, rộng 1,52m. Đây là một công trình nghệ thuật đặc sắc trong ngôi chánh điện, nét trạm trổ họa tiết điêu khắc cách điệu thoáng và sinh động, ở giữa là hai câu đối:“Nhất Tự Quyền Hành Năng Chấn Tỉnh/ Chúng Tăng Bảo Chướng Vĩnh An Hòa” qua năm tháng vẫn còn giữ được nét sắc sảo. Ngoài ra bệ thờ này có bia đá được dựng lúc xây lại chùa năm 1937, là bản khắc bằng chữ Hán ghi nguyên văn sắc phong của vua Thiệu Trị thứ II (1842) cho chùa.
Hàng năm, cứ vào ngày rằm giáng giêng, rằm tháng bảy âm lịch, chùa tổ chức lễ hội nguyên tiêu và lễ vu lan rất lớn. Khách thập phương về viếng chùa, chiêm ngưỡng, thành tâm cúng bái rất đông. Ai cũng khấn nguyện mong cho cuộc sống được thanh bình, được phúc lộc bình an.
Chùa Phật Tổ được Bộ Văn hóa Thông tin (nay là Bộ Văn hóa Thể thao và Du lịch) công nhận là di tích kiến trúc nghệ thuật quốc gia ngày 24/11/2000.
Chùa Phật Tổ là niềm tự hào của người dân Cà Mau không chỉ về lối kiến trúc độc đáo cổ xưa mà còn là nơi sinh hoạt văn hóa tâm linh của nhân dân trong vùng và khách thập phương khi đến viếng và chiêm bái.
La Mộng Linh