Валидизация – термин, широко применяемый для оценки адекватности или степени согласованности некоторой модели с экспериментальными данными. Валидизацию описывают как процесс сравнения времени реакции, предсказанной моделью, со временем реакции, наблюдаемым в пищевых продуктах, и такую интерпретацию используют многие другие ученые (см., например, [21, 49, 53, 70-72]). Для описания работы с Escherichia coli используют также термин «оценка эффективности» [48].

В этой главе мы используем термины валидизация (validation) и верификация (verification), которые слегка отличаются по смыслу друг от друга:

validate - обосновывать, устанавливать правильность чего-либо (термин «валидизация» используется для любой оценки, использующей внутренние данные, то есть данные исследований на основе «бульонов», проводящихся в той же лаборатории и на том же множестве микроорганизмов, которые использовались при создании модели, см. раздел 10.2.1);

verify– подтверждать, верифицировать, то есть определять и проверять истинность чего-либо путем сравнения, исследования или ссылки (термин «верификация» описывает оценку данных, полученных для различных целевых микроорганизмов, для различных питательных сред или пищевых продуктов в разных лабораториях, см. раздел 10.2.2).

Данные, полученные одной лабораторией при исследовании пищевых продуктов, инокулированных микроорганизмами, использовавшимися при создании модели, легче контролировать, в связи с чем их верификации будут лучше, чем при использовании данных, полученных на основе исследований пищевых продуктов, контаминированных естественным образом, поскольку в этом случае трудно воспроизвести точный состав микроорганизмов или использовавшиеся при создании модели условия.

В настоящей главе при рассмотрении проблем валидизации и верификации микробиологических моделей мы стремимся показать, что они могут успешно применяться для прогнозирования сроков хранения пищевых продуктов [43, 54, 75].

10.2.1. Валидизация

Оценку модели по использовавшимся для ее разработки данным следует производить обязательно. Это позволяет на ранней стадии выявить основные проблемы, так как прогнозируемые и наблюдаемые данные должны хорошо согласовываться. При двухстадийном моделировании проводят также проверку согласованности данных между моделями первого и второго уровня.

С помощью перекрестной валидизации проводят также оценку модели по данным, полученным на «бульоне» и не использовавшимся при ее создании. В этом случае при создании модели используют только часть (около 90%) данных, а остальные – для валидизации. При альтернативном подходе для валидизации используют экспериментальные данные, полученные для тех же самых микроорганизмов, питательной среды и условий в различное время. В последнем случае степень согласованности между прогнозируемыми и наблюдаемыми данными может быть хуже из-за возможных различий в подготовке микроорганизмов, питательной среды или использованных условиях роста.

10.2.2. Верификация

Отнюдь не все из доступных в настоящее время моделей прошли верификацию на пищевых продуктах, причем во многих случаях об этом объявляется ясно и недвусмысленно. Если такую верификацию необходимо провести, то выбирают какой-либо или несколько известных вариантов проверки. Выбор того или иного варианта зависит от наличия экспериментальных данных и предназначения конкретной модели. Использование нескольких вариантов проверки повышает степень адекватности применяемой модели и помогает выявить причины, почему в некоторых пищевых ситуациях данная модель «не работает».

-   Вариант 1 – сравнение модели с результатами исследований пищевых продуктов, полученными водной и той же лаборатории при инокуляции одним и тем же видом микроорганизмов. Важность верификации модели на пищевых продуктах обусловлена тем, что рецептурные ингредиенты могут отсутствовать в экспериментальной питательной среде [45]. Этот вариант полезен тем, что он вносит дополнительные ошибки, связанные с пищевым матриксом, но при этом используются те же самые микроорганизмы, что и при создании модели. В некоторых случаях для исключения конкуренции со стороны естественной микрофлоры продукта используют стерильный пищевой продукт, а в других случаях естественная микрофлора продукта остается неизменной. В последнем случае верификация оказывается более надежной, поскольку допускает взаимодействие микроорганизмов, но при этом необходимо быть уверенным в возможности селективного подсчета содержания инокулированных микроорганизмов в присутствии естественной микрофлоры. Степень согласованности между прогнозными и наблюдаемыми данными в этом случае, скорее всего, окажется меньше, чем при валидизации.

-   Вариант 2 – сравнение с естественно контаминированными пищевыми продуктами. Если модель предполагается использовать для непосредственного прогнозирования срока хранения, то самой важной мерой адекватности модели является то, насколько хорошо она предсказывает микробиологические реакции в других пищевых смесях. Использование естественно контаминированных пищевых продуктов свидетельствует о том, насколько хорошо дан пая модель позволяет прогнозировать реакцию различных штаммов целевых микроорганизмов в соответствующих пищевых продуктах. Вместе с тем в данном случае предполагается естественное присутствие в большинстве образцов целевых микроорганизмов, что для многих патогенных микроорганизмов не всегда реально. Если такая модель не работает, то выявить, чем вызывается несоответствие – данной пищевой матрицей или используемыми микроорганизмами – можно путем применения первого варианта.

-   Вариант 3 – оценка с использованием независимых данных, полученных на инокулированных бульонах или пищевых продуктах, на неинокулированных пищевых продуктах или на основе данных других моделей, полученных независимо от исходных [44]. В этом случае выборка независимых экспериментальных данных позволяет проверить работоспособность модели в широком диапазоне условий. Использование опубликованных данных зачастую обходится дешевле, чем получение экспериментальных. Недостатки этого варианта состоят в том, что в разных исследованиях экспериментальные условия неодинаковы, достоверность данных о микробиологических реакциях может оказаться низкой, а сами данные могут неадекватно отражать область предполагаемого использования модели. Кроме того, в некоторых исследованиях может отсутствовать важная информация, в частности, о pН, подкислителях или αω. пищевого продукта, в связи с чем приходится исходить из предположений на основе продуктов аналогичного типа. По возможности следует использовать опубликованные данные с известными экспериментальными характеристиками.

Многие исследователи сравнивают результаты прогностической оценки, полученные на основе собственных моделей, с оценками, например, Pathogen Modelling Program (http://www.arserrc.gov/mfs/PATHOGEN.HTM).Тем не менее модели необходимо верифицировать на возможность их использования для анализа пищевых продуктов. Кроме того, если существующая модель была расширена или данные были смоделированы с использованием другого подхода, то полезно сравнить результаты прогнозов, полученные на основе обеих моделей.

10.2.3. Условия валидности модели

При оценке валидности модели важно проверить весь диапазон условий или, по крайней мере, четко определить область, для которой она была испытана.

Каждая модель характеризуется некоторой областью интерполяции, определяемой границами экспериментальной матрицы, для которой были получены данные. Эту область зачастую называют «минимальным выпуклым многогранником» (Minimum ConvexPolyhedron, MCP) [9] для экспериментальной матрицы, включающей комбинацию факторов: температура, содержание соли и рН. Обычно MCPменьше, чем абсолютные диапазоны факторов в модели. Вне области интерполяции находится область экстраполяции, которую определяют как область вне границы без точек данных. В этой области строить прогнозы не следует, поскольку они окажутся ненадежными. Более того, чем больше используемых для прогноза факторов включено в модели, тем больше риски экстраполяции. Необходимо обеспечить, чтобы комбинации факторов находились внутри MCP [41].

Важно, чтобы для всей рабочей области модели имелись некоторые сравнительные данные. Большая часть опубликованных данных окажется, скорее всего, в области хорошего роста микроорганизмов и, следовательно, они важны для исследования инокулированных пищевых продуктов, характеристики которых близки моделируемым. Следует также проявлять осторожность при валидизации моделей, которые включают данные для экстремальных условий среды. Это связано с изменчивостью микробиологических реакций, наблюдаемой в таких условиях.