По главному вопросу поднимаемому в сабже, хочется сказать что разработчикам кубернетиса не хватает широты взора на окружающую реальность, в которой не все ещё запихнули в куб, а многие вещи никогда не запихнут и даже пытаться не будут. Потому что львиная доля сложностей обнаруживается на стыке k8s кластера и старого доброго физического сервера.