A nivel de nitidez, creo que no habrá diferencias muy grandes entre los tres. El 35 mm f2 es algo más nitido en el centro, a máxima apertura que el 23, pero el 23, lo es un poco más en las esquinas. El 23 y 35 tienen un motor de enfoque de tipo lineal, en lugar de por pasos, algo más rápido y sobre todo más silencioso.
La principal ventaja que veo a esos dos sobre el 27, además ser un poco más luminosos, es el sellado . Esto te va a dar una tranquilidad impagable si trabajas con lluvia, en zonas muy humedas o en situaciones adversas de polvo, etc. Claro que si lo vas a montar en cuerpo no sellado, esta ventaja se pierde un poco.
La ventaja del 27, como te han comentado es el tamaño tan compacto. en una X-E por ejemplo, hace un conjunto tan pequeño que la convierte prácticamente en una cámara de bolsillo.
Puedes ver los pros y los contras del 23mm f2, en este pequeño análisis de uso que hice en el blog:
Fujinon XF 23mm F2 R WR: Análisis tras un mes de uso
Creo que aquí, la elección más bien dependerá del tipo de fotos y las condiciones en que vayas a hacerlas. El 23 mm, equivalente a 35 mm en formato completo, quizá es una focal algo más versatil para reportaje, viajes y foto de calle. El 35 también va muy bien para foto de calle y es más adecuado para retrato pero al ser más cerrado, menos para paisaje o donde vayas a echar de menos más angular. El 27 se queda a medio camino y tiene un ángulo casi clavado al de la visión humana con lo que resulta muy "natural" por encuadras prácticamente lo que estas viendo.
P.S. del 35 f2 también hay versión XC, pierdes el sellado, el anillo de diafragmas y la construcción metálica pero si no lo vas a usar de forma intensiva, la calidad óptica es la misma por la mitad de dinero.