Ναι, το "πα" θέλει απόστροφο, αλλά νομίζω ότι θέλει και τόνο. Επίσης, δεν πρέπει να παραλείπουμε και το διάστημα μετά την απόστροφο, δηλαδή στο "μ' έλεγαν".
Πιστεύω ότι η πρόταση πρέπει να γραφτεί έτσι:
Κι ας πά' να μ' έλεγαν τρελό.
Ίσως δεν συμφωνούν όλοι ότι θέλει τόνο, πάντως.