Система анализирует описание блюда и автоматически извлекает информацию из онлайн-базы данных Американского министерства сельского хозяйства. Информация показывается вместе с изображениями продуктов питания и разными меню.
Таким образом человек может уточнить описание блюда. И все это в голосовом режиме. Пользователь говорит: "На завтрак у меня была тарелка каши, бананы, стакан сока". Но потом он уточняет, что съел половину банана. Программа учтет это дополнение. Сотрудникам Массачусеттского технологического института, разрабатывавшим приложение, пришлось поломать голову над распознаванием формулировок.
Дело в том, что в базах данных по питательности продуктов нет некоторых разновидностей продуктов и, конечно, нет разговорных названий. Более того, в формулировке "тарелка каши" программа должна понимать, что "тарелка" относится к количеству, а в "овсяном печенье" - "овсяное" является изменяющей питательность характеристикой. Поэтому ученым пришлось учесть около 10000 описаний блюд и более 8000 слов, обозначающих продукты. Причем, многие из них были синонимами. Секрет же в алгоритмах обучения, которые вывели программу на новый уровень.