Изменили данные, TensorFlow читает старые: что проверить перед cache()

Кеш tf.data помогает не перечитывать и не обрабатывать обучающие данные на каждой эпохе. Но после изменения конвейера модель может продолжить получать прежние элементы: файловый кеш сохраняется между запусками. Поэтому проверять нужно и скорость, и содержимое входа.

Сначала определите границу кеша

В официальном руководстве TensorFlow cache() стоит после дорогой функции map. При последующих проходах повторно используются результаты операций до этой точки. Это полезно, когда подготовка данных занимает заметное время и результат помещается в память либо локальное хранилище.

Если map сильно увеличивает объём элементов, сохранять его результат может оказаться невыгодно. Тогда стоит сравнить другой порядок: закешировать компактное представление, а объёмное преобразование оставить после кеша. Решение зависит от размера данных и стоимости повторной обработки, а не от универсального правила «кеш всегда в конце».

Диаграмма TensorFlow / Google, CC BY 4.0. Показан искусственный конвейер с имитацией чтения и обучения: исчезновение Open, Read и Map после первой эпохи объясняет механизм, но не обещает такого же ускорения реальной модели. Обложка показывает вариант с последовательным map без кеша.

Две проверки перед большим обучением

Первая — завершённость. По документации Dataset.cache, для гарантированного завершения кеширования нужно прочитать входной датасет целиком, до StopIteration. Если первый проход оборван, рассчитывать на готовый кеш в следующем нельзя. Для небольшой проверки сначала полностью пройдите конечный датасет, затем повторите обход и сравните элементы.

Вторая — происхождение файла. Учебный пример документации начинается с Dataset.range(5), сохраняет результат через cache с файловым путём, а затем меняет источник на range(10), оставляя тот же путь. Повторное чтение возвращает прежние пять чисел. Изменение операций перед cache само по себе не обновляет уже сохранённые данные.

Практический приём: на маленькой копии набора измените один узнаваемый элемент, создайте отдельное имя кеша и сравните результат со старым файлом. Перед рабочим запуском запишите рядом версию данных, преобразования и путь кеша. Это редакционный проверочный сценарий, а не результат нашего тестирования TensorFlow.

Что считать успешным результатом

Сначала убедитесь, что повторный проход возвращает ожидаемые данные. Если нужен новый порядок элементов на каждой эпохе, документация рекомендует shuffle после cache. Затем отдельно измерьте первый полный проход и последующие: среднее значение скрывает цену заполнения кеша.

Кеш подходит, когда повторно используются именно нужные данные и экономия обработки оправдывает хранение. После изменения подготовки начните с нового имени кеша; ускорение на старом содержимом — плохой критерий готовности обучения.