理想状態では成り立つ光学系でも、

①設定公差に対して実際の加工・組立誤差が大きい
②環境温度に対する変動を考慮していない

上記のような場合、光学性能が出ないことがよくあります。
①の場合は設計した光学系の誤差感度が高く、不安定でロバスト性が欠けることが原因です。
②は①が解決していても光学系を使用する温度が変化することによって

③使用硝材の屈折率が変化する
④レンズやレンズ保持枠の熱膨張によって厚み・間隔が変化する

以上の現象が重畳して発生することが原因です。
特に車載カメラのように極寒から灼熱の環境範囲で使われる光学系は要注意ですね。
いずれにしても設計段階から誤差や温度の影響を考慮して設計する必要があるわけです。
それを行うには結構なノウハウが必要なのですが、取りあえずZEMAXで影響を見るには、マルチコンフィグレーションエディタから熱解析の設定を行えば光学性能変化の傾向を掴むことは可能です。
レンズ保持枠とレンズに熱膨張係数の大きなプラスチックを多用している場合は光学性能変化に結構愕然とします。