Yo tengo la combinación D700+16-35 y disfrutando a lo grande de ella.
No puedo hablar de los 20-35 y 17-35 porque ni los tengo ni los he probado, así que por esa parte ni mú.
La diferencia de apertura, f2.8 o f4.0, no es excesivamente definitoria en el uso habitual de un gran angular; no se suele buscar desenfoque selectivo en esta gama de focales, y a fin de cuentas es 1 EV.
Creo que, en general, uno debe decantarse por aquello que en un determinado momento piensa que es lo que necesita, y tú parece que tienes claro la gama de focales que usas con más frecuencia; a partir de ahí, en cuanto te decidas por uno u otro, estoy convencido que disfrutarás de lo lindo.
Saludos