Ông Hoàng Yến Tchao có tất cả 4 bà vợ và 7 người con đẻ, trong đó có 2 người con trai và 5 người con gái. Con trai cả là ông Hoàng A Tiển, con thứ 2 là ông Hoàng A Tưởng. Theo người già trong vùng kể lại ngay từ khi còn nhỏ ông Hoàng A Tưởng đã có tướng mạo hơn người, thông minh nhạy bén vì vậy được cha vô cùng yêu quý, lớn lên lại được cha tin tưởng cho sang Pháp du học, khi về ông thường cùng cha giải quyết công việc lớn nhỏ trong nhà, quan hệ với các thổ ty khác trong vùng Tây Bắc nên người ta biết nhiều về ông Hoàng A Tưởng hơn người anh trai của ông là Hoàng A Tiển. Vì thế người dân trong vùng mới gọi đây là dinh thự Hoàng A Tưởng.

- Quá trình cai trị của Họ Hoàng tại Bắc Hà:

Ông Hoàng Yến Tchao là thổ ty vùng Bắc Hà, cai trị vùng đất này từ năm 1905 đến năm 1950, đây là một chức quan ở vùng dân tộc thiểu số thời bấy giờ. Trước cách mạng tháng 8, Bắc Hà cũng như các địa phương khác trong cả nước thuộc chế độ thuộc địa nửa phong kiến, xã hội được phân hóa một cách sâu sắc, tầng lớp Thổ ty trở thành lực lượng bóc lột. Lúc đó, người dân mỗi khi cưỡi ngựa đi qua cổng chính của ngôi nhà này đều phải xuống ngựa. Nếu ngồi trên ngựa đi qua cổng sẽ bị quân lính bắt xuống và đánh vì tội không tôn trọng ông Hoàng Yến Tchao.

 Thổ ty Hoàng Yến Tchao trước đây là tay sai cho thực dân Pháp. Các vùng đất tốt nhất, màu mỡ nhất đều do thổ ty chiếm giữ và cướp đoạt của nông dân với diện tích trên 30ha ruộng đất tốt. Ông giao ruộng cho những hộ tá điền trông nom gặt hái và bóc lột sức lao động của họ. Với hình thức này mỗi năm ông ấy thu được 42.000kg thóc (600 thồ) và 14.000kg ngô,  ngoài ra thổ ty còn bắt nông dân ở các bản phục dịch hầu hạ theo thời gian nhất định và cống nộp củi, gỗ, vật dụng gỗ ván, chậu, thùng gỗ hoặc nộp công cụ, chăn thả trâu, bò,ngựa, dê, lợn… những bản không phục dịch phải nộp tiền, trâu, bò, ngựa, dê, lợn, ngô lúa, thuốc phiện....

            Ông Hoàng Yến Tchao còn thu không và ép dân bán rẻ thuốc phiện. Ngoài ra thổ ty Hoàng Yến Tchao còn quy định toàn bộ sáp ong ở các vách núi đều là của họ, người dân phải đi thu và đem nộp đầy đủ. Đặc biệt ông độc quyền bán muối, hàng tiêu dùng, khai thác lâm thổ sản, thuốc phiện bán cho Pháp, cung cấp lương thực, thực phẩm cho đồn binh lính Pháp và tay sai.

Toàn bộ gia đình của ông Hoàng Yến Tchao đều ở trong ngôi nhà này, bao gồm các bà vợ của ông Tchao và 2 vợ của ông Tưởng, gia đình ông Tiển và rất đông con cháu. Những người hầu, lính gác đều ở lại trong dinh thự.

Vào năm 1950 khi bộ đội VN vào giải phóng Bắc Hà, bộ đội VN đã chiến đấu với binh lính của ông Chao 14 ngày đêm nhưng không thắng được. Ngày 20/9/1950 bộ đội VN quay trở lại xã Xuân Giao, huyện Bảo Thắng – cách 50km về phía Nam mang pháo lên bắn. Khi tường thành vỡ ra thì cha con nhà họ Hoàng đã dẫn vợ con đi theo đường hầm ra phía sau chân núi, họ di chuyển bằng đường bộ lên Si Ma Cai, tiếp tục di chuyển bằng đường bộ theo hướng Pha Long - Mường Khương về Lào Cai và đi tàu về Hà Nội. Sau đó sang Pháp. Ông Chao mất ở bên Pháp năm 1959. Còn về ông Tưởng thì sau một thời gian sinh sống bên Pháp đã quay trở lại thị trấn Liên Nghĩa, huyện Đức Trọng, tỉnh Lâm Đồng. Hiện nay ông cũng đã mất và bia mộ của ông vẫn còn ở Lâm Đồng. Như vậy, phần lớn con cháu của nhà họ Hoàng ở Lâm Đồng, một bộ phận nhỏ ở bên Pháp, Mĩ và một bộ phận di cư từ Lâm đồng về Quảng Ninh.

Sau khi gia đình họ Hoàng bỏ đi, dinh thự bỏ hoang một thời gian, sau đó được trưng dụng thành nơi làm việc của UBND huyện Bắc Hà, trở thành một điểm du lịch nổi tiếng. Mời các bạn tiếp tục theo dõi phần 3: Dinh Hoàng A Tưởng trở thành điểm du lịch nổi tiếng, Nhà du lịch, Trung tâm diễn giải – trưng bày văn hóa du lịch.