Cara kerjanya tidak seperti penghapus papan tulis,
yang menyapu kumpulan kapur pada permukaan mulus. Kertas tidak semulus papan
tulis dan goresan pensil tidak pada permukaannya; sebagian besar tertanam di antara
serat-serat kertas.
Apabila kita memperhatikan goresan pensil di bawah
mikroskop, kita akan melihat bahwa goresan itu tidak bersambung mulus; ia
terbentuk atas partikel-partikel hitam sendiri-sendiri, berukuran sekitar satu
per beberapa ribu millimeter, yang melekat ke serat-serat kertas dan seperti
merangkul serat-serat itu dengan kuat. Tugas karet penghapus adalah melepaskan
partikel-partikel sangat kecil itu. Itu mampu diperbuatnya karena (a) karet
penghapus cukup luwes untuk menjangkau tempat-tempat diantara serat-serat dan
(b) karet penghapus cukup lengket untuk mencengkeram partikel-partikel hitam
kemudian menarik mereka keluar.