Основное отличие, что hstore это всегда пара ключ-значение, где оба являются строками. И это всегда плоская структура (вложенность не поддерживается).

В jsonb данные могут быть не обязательно объектом, а например массимов объектов или массивом чисел. Значением может быть любое валидное json значение: строки, числа, логические и т.д. Могут быть вложенные объекты.

Если смотреть по производительности, то за счет того, что hstore плоская структура, то она чуть быстрее на чтение. Однако разница не столь значительная.