Kampung ini mula dibuka pada awal tahun 1900 oleh beberapa keluarga yang mula menerokai kawasan pinggir Sungai Pahang sebagai perkampungan.
Nama Pangsenam ni berasal dari satu pokok durian yang mempunyai buah berpangsa enam. Selalunya buah durian mempunyai 5 pangsa sahaja tetapi ada sebatang pokok durian di Pangsenam pada masa itu mempunyai 6 pangsa.
Kampung ini terletak di sepanjang tebing Sungai Pahang. Jarak dari bandar Temerloh adalah lebih kurang 5km melalui jalan Temerloh - Teriang.
Pada akhir tahun 60an pasukan bolasepak Kampung Pangsenam pernah bermain dalam Liga Utama Piala Liga Temerloh dari 1966 hingga 1970.
Kejayaan yang dicapai pasukan Pangsenam ialah pada tahun 1968 kerana berjaya melangkah ke final namun kalah 1 - 2 kepada pasukan Kem Batu 5. Pada tahun 1968 juga pasukan bolasepak Kg. Pangsenam menjadi Naib Juara Liga Division 1 Bolasepak Temerloh.
Piala naib juara ada tersimpan di Balairaya lama.
Antara bekas pemain ialah:
Haji Ismail b. Long (GK) - Bekas imam Masjid Buntut Pulau
.svg)
Malaysia
