По главному вопросу поднимаемому в сабже, хочется сказать что разработчикам кубернетиса не хватает широты взора на окружающую реальность, в которой не все ещё запихнули в куб, а многие вещи никогда не запихнут и даже пытаться не будут. Потому что львиная доля сложностей обнаруживается на стыке k8s кластера и старого доброго физического сервера.

https://www.youtube.com/watch?v=bEx2cwPrHxY