01 — Кейс · ML Нейросети

Определитель растений по одному снимку

Человек снимает лист, цветок или стебель и за считаные секунды читает название вида, ботанические термины знать не нужно. Мы собрали этот определитель за квартал силами команды полного цикла: классификатор на Python и TensorFlow, обработка кадра перед распознаванием и обширная база видов. Точность распознавания высокая. Продукт рассчитан на садоводов и ботаников, студентов и всех, кому интересна природа.

3 месяца
Обновлено:
Смотреть кейс
срок проекта
3 месяца
функциональных модулей
7
этапов разработки
5
ключевых технологий
5
Определитель растений по одному снимку

02 — Контекст

Задача проекта

Исходная ситуация, ограничения и проблемы, которые должна была решить новая система.

Название растения обычно нужно в ту минуту, когда оно перед глазами, в саду или на прогулке. Бумажный определитель в такой момент помогает плохо. Он ведёт через строение листа, форму соцветия и рисунок жилок, и без подготовки человек сбивается уже на первых шагах.

Поисковик выручает ненамного чаще: внешность растения трудно передать словами, и страницы с ответами показывают совсем другой экземпляр. Сложности добавляют сами растения. Родственные виды расходятся в мелочах, а лист, цветок и стебель одного вида на снимках мало похожи друг на друга. Вдобавок каждый кадр снят при своём свете, на своём фоне и под своим углом.

Отсюда выросли требования к продукту. Вид определяется прямо по изображению, снимок обрабатывается за секунды, база охватывает много видов, а точность остаётся высокой. От пользователя требуется одно: загрузить фотографию и прочитать ответ.

  1. Термины вместо ответа

    Чтобы пройти определитель, надо знать морфологию и ботаническую лексику. Садовод или студент путается в признаках и до вида так и не доходит, хотя растение прямо перед ним.

  2. Мелкие различия между видами

    Родственные растения расходятся в деталях, которые неподготовленный глаз пропускает. К тому же лист и цветок одного растения выглядят совсем по-разному, так что оценка на глаз часто ошибочна.

  3. Слова плохо описывают внешность

    Запрос в поисковике получается расплывчатым, и выдача редко совпадает с настоящим экземпляром. Человеку нужен ответ по снимку, а приблизительный пересказ признаков к нему не приводит.

  4. Съёмка каждый раз другая

    Кадры с телефона приходят с тенями, засветами и пёстрым фоном, и до студийных им далеко. Модель должна уверенно работать именно на таких снимках.

  1. Снимок любой части растения

    Подойдёт лист, цветок или стебель, поэтому сезон определению не мешает. Весной хватает молодого листа, летом цветка, а когда цветение закончилось, работают вегетативные признаки. Человек присылает один кадр и сразу видит вид, перебирать признаки вручную не требуется.

  2. Классификатор видов на TensorFlow

    Модель компьютерного зрения учится различать виды по контуру и краю листа, рисунку жилок, устройству соцветия. Эти признаки сеть находит сама, ботанику не приходится описывать их вручную. Благодаря этому она разводит растения, которые неспециалист принимает за одинаковые.

  3. Подготовка кадра

    Перед подачей в сеть кадр приводится к общему размеру, цвет и яркость выравниваются, различия в освещении и фоне сглаживаются. Поэтому снимок с телефона при случайном свете и под случайным углом не роняет точность, хотя сделан далеко от студии.

  4. Обширная коллекция видов

    На этой коллекции модель обучена, и с ней же сопоставляется новый снимок. Уверенность распознавания прямо зависит от того, насколько широко и качественно представлены виды. Когда коллекция пополняется, вместе с ней растут и точность, и охват.

  5. Список вероятных видов

    Ответ приходит списком кандидатов с самым вероятным наверху. Если кадр чёткий, первая строка очевидна. Если спорный, пользователь сравнивает варианты по дополнительным признакам и выбирает сам. Сомнительное совпадение никогда не подаётся как окончательное.

  6. Ответ за секунды в два действия

    Скорость была среди главных требований, поэтому конвейер вывода оптимизирован до секунд на один снимок. Интерфейс сводится к загрузке фото и чтению названия: ни анкет, ни настроек, ни терминологии. Определитель понятен и школьнику, и студенту-биологу, а пользоваться им удобно прямо в саду или в лесу.

  7. Пополнение базы и дообучение

    Новые виды и изображения попадают в обучающую выборку, затем модель дообучается. Так можно усилить распознавание редких растений или подстроить определитель под флору конкретной местности. Переписывать продукт для этого не приходится.

04 — Архитектура

Технологический стек

Технологии выбраны под нагрузку, интеграции и дальнейшее развитие продукта.

Зачем в проекте · 01 / 05

Python

Для машинного обучения это привычный выбор: от подготовки выборки до вывода под каждый этап есть зрелые библиотеки. Разработка шла быстро, а код легко сопровождать, пока база видов растёт.

05 — Процесс

Как шла разработка

Последовательность работ от исследования задачи до запуска и проверки результата.

  1. Выборка снимков

    Первым делом собрали изображения по видам и свели разметку к одному формату. Будущая точность зависит от качества и разнообразия выборки, поэтому следили за охватом видов и за тем, чтобы листья, цветки и стебли были сняты в разных условиях.

  2. Единая обработка входа

    До обучения настроили масштабирование, выравнивание цвета и яркости, поправку на фон и свет. Этот порядок одинаков при обучении и при распознавании, так что аккуратные и бытовые кадры модель обрабатывает с равной уверенностью.

  3. Подбор архитектуры сети

    Настроили число и структуру слоёв, извлечение признаков и размер входа. Искали равновесие: модель должна различать похожие виды и при этом оставаться лёгкой, чтобы быстро отвечать по одному снимку.

  4. Циклы обучения и проверки

    Качество измеряли на отложенной выборке, которой сеть во время обучения не видела. Разбирали ошибки на близких видах, добавляли данные на слабых участках и запускали следующий цикл, пока точность не вышла на целевой уровень.

  5. Скорость, интерфейс и выпуск

    Ускорили вывод до секунд на снимок без потери точности и оформили ответ списком вероятных видов. Добавили простой интерфейс загрузки, проверили продукт на настоящих фотографиях из разных условий и выпустили его. Весь путь уложился в квартал.

06 — Итог

Результаты

Что создано в рамках проекта: рабочий контур, реализованные возможности и подтверждённые факты.

от разметки снимков до выпуска
1 квартал
растения годятся для снимка: лист, цветок, стебель
3 части
нужен, чтобы получить название вида
1 снимок
занимает ответ после загрузки фото
Секунды

Определитель работает так, как задумывалось: один кадр листа, цветка или стебля, несколько секунд ожидания и название вида с высокой точностью. От разметки первых снимков до выпуска прошёл квартал. Разбираться в морфологии и открывать бумажный справочник теперь незачем, поэтому инструмент подходит и садоводу со студентом, и ботанику.

Качество держат хорошая выборка, устойчивая обработка кадров, классификатор на TensorFlow и оптимизированный вывод. Похожие виды модель различает уверенно, на обычных телефонных снимках точность не проседает. Коллекцию можно дополнять, а модель дообучать: охват растёт, в том числе по редким растениям, и переписывать продукт не требуется.

FAQ

Вопросы о проекте

Обсудим похожий проект?

Расскажите о задачах вашего бизнеса — предложим архитектуру и оценим сроки