Mengikut tradisi Orang Besar Berempat adalah dilantik dari keluarga atau puak tertentu yang turun temurun. Bagi orang-orang besar lain ada yang dipilih dari kalangan keluarga tertentu dan ada yang tidak. Walau bagaimanapun kuasa ini terletak kepada Raja Pemerintah. Perkembangan sistem pembesar pahang mempunyai sejarahnya sendiri yang berlainan dengan gelaran-gelaran yang terdapat dalam kalangan pembesar Melaka atau Johor-Riau. Ini adalah kerana semasa Sultan Abdul Ghafur lagi penghijrahan orang-orang dari kepulauan Melayu telah berlaku terutama dari Sumatera.

Di Pahang, pembesar-pembesar dalam kerajaan negeri Pahang moden dipanggil Orang-Orang Besar Berempat yang terdiri daripada:-

Isteri bergelar Yang Berbahagia Tok Puan Indera
Orang Besar Berempat diberikan kawasan untuk ditadbir. Misalnya bagi Orang Kaya Indera Pahlawan menguasai Kuala Luit hingga ke Bera; Orang Kaya Indera Perba Jelai berkuasa dan mentadbir di Ulu Jelai, Orang Kaya Indera Segara menguasai Temerloh (di kawasan sebelah hilir Sungai Jelai) manakala Orang Kaya Indera Shah Bandar menjaga kawasan Bebar hingga ke Luit.
Jika diamati, Orang Besar Berempat ini diagihkan tugas mengikut kawasan dan selari dengan persekitaran bentuk muka bumi. Orang Kaya Indera Perba Jelai pentadbirannya di kawasan pergunungan, sebelah barat laut Pahang. Orang Kaya Indera Segara pula mentadbir kawasan di Temerloh terletak di kawasan sungai dan lautan. Orang Kaya Indera Shah Bandar lokasinya rata-rata terletak di bandar-bandar utama serta pelabuhan. Orang Kaya Indera Pahlawan pula kebanyakannya bertindak seperti hulubalang negeri dari Kuala Luit ke Bera.