Неоднократно сталкивался с этой проблемой и неоднократно забывал как это сделать.
Оставляю это здесь.
ПКМ на ячейке - Формат ячеек.. . -на вкладке Число слева есть список, выбрать (все форматы) и в строке Тип вписать кол. нулей после американский знак номера, например: 0000#### - жмем ОК и применяем этот новый формат ко всем ячейкам.
