Pada masa awal pemerintahannya, ada kegiatan pengembangan agama Kristen yang dipimpin oleh Nommensen dari Jerman yang sedang berlangsung di Tapanuli. Belanda saat itu ikut masuk dengan berlindung dibalik kegiatan tersebut. Tetapi lambat laun Belanda mulai menunjukkan tujuan utama mereka yang tidak baik, yaitu menguasai wilayah yang dikuasai Sisingamangaraja XII. Akhirnya Sisingamangaraja XII mengadakan rapat dengan para raja dan panglima yang ada di daerah Humbang, Toba, Samosir dan Pakpak.
Akhirnya dari rapat tersebut diperoleh kesepakatan bahwa mereka akan bersatu untuk melawan Belanda. Ketegangan antara Belanda dengan Sisingamangaraja XII meningkat hingga timbullah konflik yang tidak terelakkan, upaya jalan damai sudah tidak bisa ditempuh lagi. Pada tanggal 19 Februari 1878, Sisingamangaraja XII bersama dengan rakyat Tapanuli mulai melancarkan serangan terhadap pos Belanda yang ada di Bahal Batu, dekat Tarutung. Pertempuran yang tidak seimbang ini akhirnya membuat Sisingamangaraja XII dan pasukannya kalah.
Sisingamangaraja XII dan pasukan terpaksa untuk mundur dari Bahal Batu, tetapi perlawanan pasukan Sisingamangaraja XII masih tinggi. Terutama yang ada di desa-desa yang belum ditundukkan Belanda, seperti Butar, Lobu Siregar, Balige dan Tangga Bantu. Hal ini juga membuat Belanda semakin gencar untuk menaklukkan Sisingamangaraja XII hingga ke desa-desa. Belanda melakukan pembakaran serta menawan raja yang ada di desa-desa, akibatnya pertempuran ini meluas hingga ke berbagai daerah seperti Bakkara dan lainnya, meskipun begitu Sisingamangaraja XII tetap melakukan perang gerilya.
Mei 1883, Sisingamangaraja XII menyerang pos Belanda yang ada di Uluan dan Balige. Setahun kemudian pada tahun 1884 akhirnya kekuatan Belanda yang ada di Tangga Battu berhasil dilumpuhkan oleh Sisingamangaraja XII.
Belanda akhirnya melakukan upaya untuk berdamai dan menawarkan penobatan pada Sisingamangaraja XII sebagai Sultan Batal dengan hak istimewa. Tetapi beliau menolaknya dengan sangat tegas.
Pada tahun 1904, Belanda melakukan pengepukan yang sangat ketat sehingga Sisingamangaraja XII tidak bisa berkutik. Tetapi pada tahun 1907, Sisingamangaraja XII berhasil lolos, tetapi tidak lama setelah itu Belanda berhasil menemukan Sisingamangaraja XII kembali.
Upaya keras yang dilakukan Belanda berbuah hasil dengan mengetahui dimana tempat persembunyian Sisingamangaraja XII dan pasukannya, yaitu di Hutan Simsim. Pada tanggal 17 Juni 1907, markas Sisingamangaraja XII akhirnya dikepung oleh Belanda. Disana terdapat pertempuran jarak dekat, komandan pasukan Belanda meminta Sisingamangaraja XII untuk menyerah. Lagi-lagi Sisingamangaraja XII di iming-imingi kekuasaan menjadi Sultan Batak, tetapi Sisingamangaraja XII tetap teguh pendirian tidak mau tunduk dan memilih lebih baik mati dari pada harus tunduk.
Terjadilah pertempuran yang sengit disana, akhirnya menewaskan hampir dari seluruh keluarga dan pasukan dari Sisingamangaraja XII. Akhirnya Patuan Bosar Ompu Pulo alias Raja Sisingamangaraja XII bersama 2 putra dan 1 putrinya hingga beberapa panglima nya yang berasal dari Aceh gugur sebagai kusuma bangsa. Meskipun ada pilihan menjadi Sultan Batak, Sisingamangaraja XII memang terkenal keras sehingga pendirian nya tidak goyah sama sekali untuk menentang Belanda. Banyak pertempuran sengit yang beliau hadapi, hingga akhirnya beliau wafat dengan menjadi pahlawan bangsa.