Công ty kinh doanh nước sạch số 2 Hà Nội được thành lập theo quyết định số 2882/QĐ-UB ngày 31/8/1996 của Uỷ ban nhân dân Thành phố Hà Nội trên cơ sở tách Xí nghiệp kinh doanh nước sạch Gia Lâm thuộc Công ty kinh doanh nước sạch Hà Nội và tiếp nhận Dự án cấp nước Gia Lâm thuộc nguồn vốn ODA của Chính phủ Nhật Bản tài trợ, với nhiệm vụ chính là khai thác sản xuất nước sạch đáp ứng nhu cầu dùng nước của các cơ quan, đơn vị và nhân dân trên địa bàn phía bắc Thành phố Hà Nội.

    Tháng 10 năm 1996, Công ty chính thức đi vào hoạt động trong điều kiện hết sức khó khăn: năng lực sản xuất nước lớn với một nhà máy và hai trạm sản xuất có tổng công suất thiết kế 46.000m³ /ngày đêm nhưng chỉ khai thác sản xuất được 10% công suất thiết kế với hơn 1.100 khách hàng sử dụng nước; nhận thức và nhu cầu sử dụng nước của nhân dân trên địa bàn còn nhiều hạn chế; mạng lưới cấp nước mới của dự án cấp nước Gia Lâm chỉ có hơn 600 khách hàng tư nhân, vừa vận hành vừa tiếp tục thi công các hạng mục còn lại của dự án nên công tác khai thác sản xuất nước và quản lý mạng chưa đồng bộ, tỷ lệ thất thoát nước cao thường xuyên ở mức 40 đến 50%. 

    Từ chỗ hoạt động với nguồn vốn ít ỏi, nước sản xuất ra thất thoát thất thu lớn, thu không đủ bù chi; sau hai năm hoạt động, năm 1999 Công ty bắt đầu sản xuất kinh doanh ổn định và bước đầu có lãi, hoàn thành mọi nghĩa vụ nộp ngân sách đối với Nhà Nước.  Tháng 6/2008, thực hiện Quyết định số 367/QĐ - UBND ngày 22/01/2008 của Uỷ ban nhân dân Thành phố Hà Nội về việc chuyển Công ty kinh doanh nước sạch Hà Nội sang hoạt động theo hình thức Công ty Mẹ - Công ty Con. Tiếp đến tháng 7/2010, Công ty kinh doanh nước sạch số 2 Hà Nội chuyển thành Công ty trách nhiệm hữu hạn một thành viên nước sạch số 2 Hà Nội theo quyết định số 3464/QĐ-UBND ngày 13/7/2010 của Uỷ ban nhân dân Thành phố Hà Nội. 

    Ngày 8/6/2015, UBND thành phố Hà Nội đã có quyết định số 2588/QĐ-UBND chuyển Công ty TNHH MTV Nước sạch số 2 Hà Nội thành Công ty Cổ phần Nước sạch số 2 Hà Nội, việc chuyển đổi doanh nghiệp theo chủ trương của Chính Phủ và kế hoạch của Thành phố là tiền đề tạo ra những nhân tố tích cực giúp cho Công ty hoạt động ngày càng hiệu quả và phát triển bền vững.