Cada persona es un mundo. Y no hay dos iguales, estoy convencido. Y eso aplica a los aficonados a la fotografía.
Yo soy de esos que no creo que vaya a deshacerme del 50-230mm por la relación precio/peso/resultado. Me parece imbatible. Y también es frecuente que ocurra lo que cuentas, muchos usuarios de zoom las focales que más terminan 'gastando' son los extremos, incluso sabiendo como sabemos que es donde menos brillan siempre.
Pero...hay que valorar 'muymucho' cada cambio, porque cambian también peso y volumen.
Por eso, sin poner en duda una mejora óptica que he leído mucho aquí, yo ni me planteo un 70-300mm.
Como comentan, seguramente uses mucho el 300mm y luego...400?...600?...un porteador con una carretilla?
Eso por no hablar de la ergono-suya de ponerle un trabuco a una X-E4