"To wszystko co mam do powiedzenia"

"Got" w tym przypadku musi zostać, ponieważ "have" nie jest czasownikiem oznaczającym "mieć", lecz tutaj jest słowem pomocniczym do tworzenia czasu przeszłego.
Z samym "have to" zmienił by się też kontekst, bo to oznacza "musieć".
"That's all I've got to say" - To wszystko, co miałem do powiedzenia
"That's all I've to say" - To wszystko, co muszę powiedzieć.

ewentualnie mógłbyś "got" zastąpić "had", choć wydaje mi się, że w tym przypadku brzmiałoby głupio.