Распознавание номеров. Практическое пособие. Часть 1 / Хабр

Все начиналось банально — моя компания уже год платила ежемесячно плату за сервис, который умел находить регион с номерными знаками на фото. Эта функция применяется для автоматической зарисовки номера у некоторых клиентов.

И в один прекрасный день МВД Украины открыло доступ к реестру транспортных средств. Теперь по номерному знаку стало возможным проверять некоторую информацию про автомобиль (марку, модель, год выпуска, цвет и т.д. )! Скучная рутина линейного программирования померкла перед новой свехзадачей — считывать номера по всей базе фото и валидировать эти данные с теми, что указывал пользователь. Сами знаете как это бывает «глаза загорелись» — вызов принят, все остальные задачи на время стали скучны и монотонны… Мы принялись за работу и получили неплохие результаты, чем, собственно и решили поделиться с сообществом.

Для справки: на сайт AUTO.RIA.com, в день добавляется около 100 000 фото.

Датасаентисты давно уже знают и умеют решать подобные задачи, поэтому мы с dimabendera написали эту статью именно для программистов. Если вы не боитесь словосочетания «сверточные сети» и умеете писать «Hello World» на питоне — милости просим под кат…

Кто еще распознает

Год назад я изучил этот рынок и оказалось, что работать с номерами стран exUSSR умеет не так уж много сервисов и ПО. Ниже представлен список компаний с которыми мы работали:

Есть множество коммерческих систем с закрытым ПО, но хорошей opensource реализации мы не нашли. На самом деле это очень странно, так как инструменты с открытым кодом, которые лежат в основе решения этой задачи давно уже существуют.

Какие инструменты нужны для распознавания номеров

Нахождение объектов на изображении или в видео-потоке это задача из области компьютерного зрения, которая решается разными подходами, но чаще всего с помощью, так-называемых, сверточных нейронных сетей. Нам нужно найти не просто область на фото в которой встречается искомый объект, но и отделить все его точки от других объектов или фона. Эта разновидность задач называется «Instance Segmentation». На иллюстрации ниже визуализированы разные типы задач компьютерного зрения.

Я не буду сейчас писать много теории о том как работает сверточная сеть, этой информации достаточно в сети и докладов на youtube.

Из современных архитектур сверточных серей для задач сегментации часто используют: U-Net или Mask R-CNN. Мы выбрали Mask R-CNN.
Второй инструмент, который нам понадобится — это библиотека по распознаванию текстов, которая бы могла работать с разными языками и которую можно легко настраивать под специфику текстов, которые мы будем распознавать. Тут выбор не так уж велик, самой продвинутой является tesseract от Google.

Так же есть ряд менее «глобальных» инструментов, с помощью которых нам нужно будет нормализовать область с номерным знаком (привести его в такой вид, при котором распознавание текста будет возможным). Обычно для таких преобразований используют opencv.

Так же, можно будет попробовать определить страну и тип, к которой относится найденный номерной знак, чтоб в постобработке применить уточняющий шаблон, характерный для этой страны и этого типа номера.

Например, украинский номерной знак, начиная с 2015 года оформлен в сине-желтом оформлении состоит из шаблона «две буквы черыре цифры две буквы».

Кроме того, имея статистику частоты «встречания» в номерных знаках того или иного сочетания букв или цифр можно улучшить качество постобработки в «спорных» ситуациях. «

Nomeroff Net

Из названия статьи понятно, что мы все реализовали и назвали проект Nomeroff Net. Сейчас часть кода этого проекта уже работает в production на сайте AUTO.RIA.com. Конечно, до коммерческих аналогов еще далеко, все работает неплохо только для украинских номеров. Кроме того, приемлемая скорость работы достигается только при поддержке GPU у модуля tensorflow! Без GPU тоже можно пробовать, но не на Raspberry Pi :).

Все материалы для нашего проекта: размеченные датасеты и натренированные модели, мы выложили в открытый доступ с разрешения RIA.com под лицензией Creative Commons CC BY 4.0

Что нам понадобится

• Python3
• opencv-python не ниже версии 3. 4
• свежие Mask RCNN, tesseract
• через менеджер пакетов pip3 нужно будет установить несколько модулей на python3, они будут перечислены в отдельном файле requirements.txt

У нас с Дмитрием все запущено на Fedora 28, уверен это все можно установить на любой другой дистрибутив Linux. Не хотелось бы этот пост превращать в инструкцию по установке и настройке tensorflow, если захотите попробовать и что-то не получается — спрашивайте в комментах, я обязательно отвечу и подскажу.

Для того, чтобы ускорить установку планируем создать dockerfile — ожидайте в ближайших апдейтах проекта.

Nomeroff Net «Hello world»

Давайте уже что-то попробуем распознать. Клонируем с github-а репозиторий с кодом. Качаем в папку models, натренированные модели для поиска и классификации номеров, немного подправим под себя переменные с расположением папок.

UPD: Этот код является устаревшим, он будет работать только в ветке 0.1.0, свежие примеры смотрите здесь:
Все, можно распознавать:

import os
import sys
import json
import matplotlib. image as mpimg
# change this property
NOMEROFF_NET_DIR = "/var/www/nomeroff-net/"
MASK_RCNN_DIR = "/var/www/Mask_RCNN/"
MASK_RCNN_LOG_DIR = os.path.join(NOMEROFF_NET_DIR, "logs/")
MASK_RCNN_MODEL_PATH = os.path.join(NOMEROFF_NET_DIR, "models/mask_rcnn_numberplate_0700.h5")
REGION_MODEL_PATH = os.path.join(NOMEROFF_NET_DIR, "models/imagenet_vgg16_np_region_2019_1_18.h5")
sys.path.append(NOMEROFF_NET_DIR)
# Import license plate recognition tools.
from NomeroffNet import  filters, RectDetector, TextDetector, RegionDetector, Detector, textPostprocessing
# Initialize npdetector with default configuration file.
nnet = Detector(MASK_RCNN_DIR, MASK_RCNN_LOG_DIR)
# Load weights in keras format.
nnet.loadModel(MASK_RCNN_MODEL_PATH)
# Initialize rect detector with default configuration file.
rectDetector = RectDetector()
# Initialize text detector.
textDetector = TextDetector()
# Initialize numberplate region detector.
regionDetector = RegionDetector()
regionDetector.load(REGION_MODEL_PATH)
img_path = '.  /examples/images/example1.jpeg'
img = mpimg.imread(img_path)
NP = nnet.detect([img])
# Generate image mask.
cv_img_masks = filters.cv_img_mask(NP)
for img_mask in cv_img_masks:
    # Detect points.
    points = rectDetector.detect(img_mask, fixRectangleAngle=1, outboundWidthOffset=3)
    # Split on zones
    zone = rectDetector.get_cv_zones(img, points)
    # find standart
    regionId = regionDetector.predict(zone)
    regionName = regionDetector.getLabels(regionId)
    # find text with postprocessing by numberplate region detector
    text = textDetector.detect(zone)
    text = textPostprocessing(text, regionName)
    print('Detected numberplate: "%s" in region [%s]'%(text,regionName))
    # Detected numberplate: "AC4921CB" in region [eu-ua-2015]

Онлайн демка

Набросали простенькую демку для тех кому не хочется все это ставить и запускать у себя :). Будьте снисходительны и терпеливы к скорости работы скрипта.

Если нужны примеры украинских номеров (для проверки работы алгоритмов коррекции), возьмите пример из этой папки.

Что дальше

Я понимаю, что тема очень нишевая и вряд ли вызовет большой интерес у широкого круга программистов, кроме того, код и модели еще достаточно «сыроваты» в плане качества распознавания, быстродействия, потребления памяти и пр. Но все же есть надежда, что найдутся энтузиасты, которым будет интересно натренировать модели под свои нужды, свою страну, которые помогут и подскажут, где есть проблемы и вместе с нами сделают проект не хуже, чем коммерческие аналоги.

Известные проблемы

• У проекта нет документации, только базовые примеры кода.
• В качестве модуля распознавания выбран универсальная OCR tesseract и она может прочитать многое, но ошибок делает много. В случае распознавания украинских номеров, там написана специализированная система коррекции, которая пока что компенсирует часть ошибок, но есть предчувствие что тут можно сделать значительно лучше.
• «Квадратные» номера (номерные знаки с пропорцией 1:2) встречаются достаточно редко и мы с ними только начали разбираться, так что с ними погрешность будет больше.
• Иногда вместо номерного знака наша модель находит дорожные знаки с названием населенного пункта, приборную доску внутри салона и др. артефакты.
• При плохом качестве номера или малом разрешении, не совсем точно определяется регион из 4 точек

Анонс

Если это будет кому-то интересно, во второй части собираемся рассказать о том как и чем размечать свой датасет и как тренировать свои модели, которые могут работать лучше для вашего контента (вашей страны, вашего размера фото). Также поговорим о том как создать свой классификатор, который, например, поможет определять не зарисован ли номер на фото.

Несколько примеров в Jupyter Notebook:

• Пример нахождения масок регионов с номерными знаками
• Пример нахождения и преобразования масок регионов в четырехугольные полигоны
• Пример распознавания номерных знаков с визуализацией

Полезные ссылки

• Домашняя страница Nomeroff Net
• Nomeroff Net на GitHub
• Онлайн демка Nomeroff Net
• Онлайн демка OpenALPR
• UPD: Распознавание номеров. Как мы получили 97% точности для Украинских номеров. Часть 2
• UPD: Распознавание номерных знаков. Как все ускорить

Оригинальный способ скрыть номер автомобиля (фото) — новости на сайте AvtoBlog.ua

• Acura
• Alfa Romeo
• Aston Martin
• Audi
• Bentley
• BMW
• Brabus
• Bugatti
• Buick
• Cadillac
• Chery
• Chevrolet
• Chrysler
• Citroen
• Dacia
• Daewoo
• Daihatsu
• Datsun
• Dodge
• Ferrari
• Fiat
• Ford
• Geely
• Great Wall
• Haval
• Honda
• Hummer
• Hyundai
• Infiniti
• Jaguar
• Jeep
• Kia
• Lamborghini
• Land Rover
• Lexus
• Lincoln
• Maserati
• Maybach
• Mazda
• Mercedes-Benz
• MINI
• Mitsubishi
• Nissan
• Opel
• Peugeot
• Porsche
• Renault
• Rolls-Royce
• Saab
• SEAT
• Skoda
• Smart
• SsangYong
• Subaru
• Suzuki
• Tesla
• Toyota
• Volkswagen
• Volvo
• ВАЗ (Lada)
• ЗАЗ
• ЗИЛ
• КамАЗ
• ЛуАЗ
• Москвич
• УАЗ

Просто впечатляет находчивость украинских автомобилистов в попытках спрятать номер машины от камер автоматической фиксации и таким образом избежать штрафа за нарушение ПДД.

Добавим, что после повышения штрафов за нарушение ПДД превышение скоростного режима на 20км/ч. штраф составляет 340 гривен, на 50км/ч. и более – 1700 гривен.

Вот один из любопытных методов. Автомобилист прикрыл номер деталью, которая предназначена для крепления дополнительного освещения и свободно продается в интернете.

Согласно ПДД Украины, запрещается управлять транспортным средством номерной знак которого:

• Принадлежит другому транспортному средству;
• Несоответствует стандартам;
• Неправильно закреплен;
• Закрытый посторонними элементами;
• Слишком грязный;
• Неосвещен;
• Перевернут.

Штраф за управление автомобилем с несоответствующим номером составляет 850 гривен, повторно в течение года – 1700 гривен.

Источник: Авто24

РЕКОМЕНДУЕМ ПОЧИТАТЬ

На парковке заметили прототип «заряженного» Dodge

Автомобиль на скорости въехал в школьный класс

Эвакуатор который шокировал всех на дороге

Почему люди закрывают номерные знаки? (Размытие картинок онлайн)

5 января 2023 Брайан Оньянго

Обновлено 5 января 2023 г.

Большинство людей сталкивались в Интернете с фотографиями, на которых люди закрывают или размывают свои автомобильные номерные знаки. Размытие номерных знаков транспортных средств кажется обязательным при публикации изображения в Интернете, и такие продукты, как Google Street View, делают это автоматически. Тем не менее, большинство людей не понимают, почему они вообще это делают.

Люди закрывают номерные знаки, чтобы избежать публичного раскрытия личной информации, потому что номерной знак может легко раскрыть личность владельца. Это не имеет большого значения, когда вы публикуете изображение на Facebook, но если вы публикуете сообщение на автомобильном форуме, вы можете захотеть размыть изображение, чтобы избежать раскрытия дополнительной информации.

Законы о конфиденциальности сложны, но эмпирическое правило гласит, что если лица людей должны быть размыты, то и номерные знаки должны быть размыты.

Что находится на номерном знаке

Номерной знак содержит уникальный идентификационный номер, который используется для отслеживания автомобиля в целях регистрации и налогообложения. В большинстве юрисдикций водители должны иметь номерной знак на задней части своего автомобиля, в то время как в некоторых штатах требуется и передний номерной знак.

Есть несколько причин, почему номерные знаки важны. Вот некоторые из них:

• Помогает правоохранительным органам идентифицировать транспортные средства, которые могли быть причастны к преступлению.
• Это позволяет властям отслеживать транспортные средства для целей налогообложения.
• Номерные знаки помогают вернуть потерянные или украденные автомобили их владельцам.
• Некоторые юрисдикции используют номерные знаки для выдачи парковочных талонов.

Почему вы можете захотеть скрыть свои номерные знаки

Скрытие номерного знака имеет смысл в ситуации, когда вы хотите сохранить свою конфиденциальность в Интернете.

Первое, что приходит на ум, это социальные сети — Facebook, Twitter или Instagram. Даже если профиль находится под вашим именем, вы можете захотеть размыть номерной знак, чтобы люди не могли ассоциировать машину с вами.

То же самое касается автомобильных форумов; Если вы обсуждаете моды и исправления или просто хвастаетесь внешним видом своей машины, скрытие номерного знака не позволит людям понять, кто вы.

Наконец, вы можете сделать это, если вы выставляете свой автомобиль на продажу. Это не имеет большого значения, потому что вы все равно планируете избавиться от машины, но таким образом это, по крайней мере, ограничивает знание вашей личности только теми, кто заинтересован в покупке машины.

Как размыть номерной знак в Photoshop

Одной из самых популярных программ для редактирования фотографий является Adobe Photoshop. Если у вас есть эта программа, вы можете легко размыть номерной знак на фотографии. Вот как:

1. Откройте изображение в Photoshop и выберите инструмент «Прямоугольное выделение».
2. Нарисуйте прямоугольник вокруг номерного знака.
3. Выберите фильтр «Размытие по Гауссу» в меню «Фильтр».
4. Измените параметр «Радиус» на «40» и нажмите «ОК».

Кто может получить доступ к вашей личной информации через ваш номерной знак?

В 1994 году правительство Соединенных Штатов приняло Закон о защите конфиденциальности водителей, который сделал незаконным доступ любого лица к личной информации через номерной знак. Однако есть некоторые исключения из этого правила. Например, сотрудники правоохранительных органов могут получить доступ к этой информации, если у них есть ордер или если они расследуют преступление. Как правило, к вашей информации могут получить доступ:

• Юристы
• сотрудников DMV
• Полиция
• Сотрудники страховой компании

Каков штраф за закрытие номерного знака?

Федеральный закон не требует, чтобы вы закрывали свой номерной знак изображением, но в некоторых штатах есть законы, которые квалифицируют это как преступление во время вождения. Например, в Калифорнии запрещено закрывать номерной знак чем-либо, что затрудняет его чтение. Наказание за данное правонарушение – штраф до 200 долларов.

Почему важны номерные знаки?

Номерные знаки важны, потому что они помогают сотрудникам правоохранительных органов идентифицировать транспортные средства. Они также помогают страховым компаниям отслеживать транспортные средства. Наконец, они помогают правительству отслеживать владение транспортными средствами и налоги.

Стоит ли закрывать или размывать номерной знак на фотографии?

Решение о том, закрывать или размывать номерной знак на фотографии, является личным. Есть некоторые риски, связанные с тем, что ваш номерной знак виден на фотографии, но есть и некоторые преимущества. В конечном счете, мы рекомендуем вам принять решение, которое лучше всего подходит для вас.

Почему номерной знак «ММ» такой редкий и ценный?

Номерной знак MM является редким и ценным, потому что это был первый номерной знак, выпущенный в Соединенных Штатах. Он был выпущен в 1901 человеку по имени Генри Блисс. Всего год спустя он был убит таксистом, что сделало номерной знак еще более ценным.

Заключение

Люди размывают номерные знаки в сети по двум причинам: конфиденциальность и избежание самообвинения. Если номер попадет в чужие руки, информация о владельце может быть легко получена. Также можно сообщить властям о том, было ли совершено преступление.

Размытие номерного знака отпугнет потенциальных воров, преследователей и других нарушителей спокойствия. Если для вас это важно, то действуйте. Это быстро и легко, и другим будет сложнее с вами связываться.

Поскольку число случаев кражи личных данных продолжает расти, люди все больше беспокоятся о своей личной информации. Для некоторых это незначительная проблема. Другие, с другой стороны, чувствуют облегчение, что они приняли все меры предосторожности, чтобы обезопасить себя.

Имейте в виду, что вы можете размыть свой номерной знак только на фотографиях, но не во время вождения в реальной жизни. Это противозаконно в большинстве штатов.

Вот несколько статей, которые могут вам понравиться:

Можно ли использовать старый номерной знак на новом автомобиле?

Можно ли водить машину без номерных знаков после ее покупки?

Может ли полиция использовать временные номера?

У всех ли автомобилей есть подсветка номерного знака?

Почему люди закрывают номерные знаки на фотографиях?

Как партнер Amazon, Моддед получает комиссионные за покупки, сделанные по ссылкам в этом посте.

В то время как некоторые люди не задумывались об этом раньше, другие могут постоянно задаваться вопросом: «Почему люди закрывают номерные знаки?» Так много людей делают это в наши дни, что это кажется самым логичным решением, если вы публикуете фотографию своей машины. От тех, кто продает свои автомобили, до тех, кто собирается их купить, до автолюбителей, которые целыми днями видят снимки автомобилей в Интернете, вы, вероятно, знакомы с людьми, которые используют любой подход к ситуации с автомобилем.

Независимо от ваших предпочтений, всегда лучше быть уверенным в своей безопасности, когда вы публикуете фотографии или ищете информацию. Даже если вы не задумывались об этом раньше, проверка деталей и того, почему некоторые люди предпочитают скрывать это, может помочь вам чувствовать себя более уверенно в своем выборе и двигаться дальше. Хотя это может показаться правильным — с акцентом, который мы делаем в нашем обществе на защите нашей личной информации — на самом деле это может быть немного менее необходимо, чем вы думаете. Вот еще немного о том, почему люди закрывают свои номерные знаки на фотографиях, и действительно ли это необходимо.

Почему люди закрывают номерные знаки? Защита водителя

Когда люди продают автомобиль через Интернет, особенно в общественных местах, таких как Facebook Marketplace и Craigslist, продавцы часто закрывают свои номерные знаки полотенцами, редактируя и даже просовывая руку или палец перед камерой, чтобы закрыть Номерной знак. То же самое касается тех, кто любит размещать фотографии своей машины в социальных сетях. Особенно для тех, у кого есть дорогие автомобили или автомобили, в которые они вложили много усилий, люди часто беспокоятся о краже, краже личных данных или вандализме. Имея это в виду, имеет смысл скрыть любую личную информацию, которая может быть видна на вашем снимке, включая номер вашего автомобиля, верно? Ну, не совсем так.

Поначалу этот выбор может показаться хорошей идеей, но на самом деле он не обязателен. Подумайте об этом так: если бы вы увидели фотографию автомобиля, смогли увидеть номерной знак и захотели найти конкретный автомобиль или человека, которому он принадлежал, смогли бы вы это сделать? Ответ — по большей части — нет! На самом деле это связано с Законом о защите конфиденциальности водителей, принятым еще в 1994 году. Этот закон, по сути, запрещает автомобильным департаментам раскрывать любую личную информацию, которую они собрали. Это означает, что если вы не работаете в отделении полиции или DMV — и не занимаете определенную должность в одном из этих учреждений — вы не сможете найти даже чье-то имя по номеру автомобиля.

На улице

Теперь, когда мы установили защиту для водителей и их личной информации, пришло время поднять важный вопрос. Даже если вы все еще опасаетесь публиковать фотографии своего автомобиля и номерного знака в социальных сетях, бывают случаи и ситуации, когда все вокруг могут видеть ваш автомобиль и номерной знак у всех на виду — когда вы находитесь на улице и ведете свой автомобиль. Хотя, конечно, люди, которые видят, что вы за рулем, не обязательно знают, кто вы, и понимают ваше присутствие, связанное с вашей машиной, люди все же могут видеть вас и читать ваш номерной знак, если захотят. Если ничего плохого из этого не произошло, само собой разумеется, что ваша машина будет в порядке в Интернете.