Оба варианта означают «немного», но с разным оттенком! Давайте разберёмся, в чём разница:

LITTLE
«Мало» (почти нет, недостаточно)
Используется с неисчисляемыми существительными и выражает негативную оценку (мало, и это плохо).

We have little time left – hurry up!.

A LITTLE
«Немного, но достаточно»
Тоже с неисчисляемыми существительными, но с нейтральным или позитивным оттенком (немного, но хватит).

We have a little time – let’s grab a coffee!

Важно
Little / A little – только для неисчисляемых (little water / a little patience).
Few / A few – аналогичное правило, но для исчисляемых существительных (few people / a few books).