Wäre es auch, wenn ritieren es geschafft hätte, als Latinismus in die deutsche Sprache zu schaffen wie relevant, reparabel, rational, usw.
Bei irritiert ist das "ir" aber keine Vorsilbe, die das Gegenteil vom Grundwort ausdrückt. Das Wort heißt schlicht: irritare, was so viel heißt wie anregen, aufregen, anstacheln, anzünden, usw. Ne Hautirritation kennen wir zum Beispiel auch - als Entzündung.
Ganz entfernt könnte man noch dran denken, dass das Wort "Ritus" drinsteckt: Also Sitte, ordentlicher Ablauf, Gewohnheit. Wenn etwas irritiert, dann verändert das den bisherigen Ruhezustand.