Automatic recognition of multiple brands in images on mobile devices

Visibility of the product on a shelf is an important task of modern marketing principles. Very often companies have agreements with merchants that particular product will be visible and cover defined percentage of the shelf. This trivial task of counting the amount of products or branding logos that are visible within a certain range, is performed manually by an auditor that checks if the agreement is fulfilled. Up till now there does not exist an easy, mobile mechanism that allows to easily capture, recognise and count defined, multiple objects that are visible in the surroundings of the user. Such scenario however, can be achieved using modern mobile phones and their cameras to capture surroundings, and then use their computing power to perform the recognition and counting. For this purpose, feature detectors (such as SIFT, SURF or BRISK) are utilised to create a database of products box images and extracted keypoints are stored. In a new image keypoints are found using the same feature detector, but to avoid problem of multiple identical keypoints, the image is divided and analysed using a sliding window. Keypoints from a window are extracted and are considered as candidates for keypoints that correspond to training images. When enough points are found then perspective transform is calculated. If detected corners are correctly shaped then product is marked with recognised class. In this paper preliminary results of a mobile framework that allows recognition and counting of visible products in surroundings of the user will be presented.

Widoczność produktu na półce jest ważnym zadaniem nowoczesnych zasad marketingu. Bardzo często firmy mają umowy ze sprzedawcami, że konkretny produkt będzie widoczny na półce w określonym procencie w stosunku do innych widocznych produktów. To banalne zadanie sprawdzenia liczby produktów lub widocznych logo marki, jest wykonywane ręcznie przez biegłego rewidenta, który sprawdza, czy warunki umowy są spełnione. Nie istnieje łatwy, mobilny mechanizm pozwalający w prosty sposób policzyć zdefiniowane produkty, które są widoczne w otoczeniu użytkownika. Taki scenariusz może jednak zostać osiągnięty przy użyciu nowoczesnych telefonów komórkowych. Za pomocą kamery można uchwycić obrazy otoczenia, a następnie wykorzystać moc obliczeniową urządzenia mobilnego do wykrywania produktów na obrazach, by finalnie obliczyć ilość widocznych produktów. W tym celu detektory punktów kluczowych w obrazach (np. algorytmy SIFT, SURF lub BRISK) są wykorzystywane do tworzenia bazy danych obrazów produktów, a wyodrębnione deskryptory punktów kluczowych są przechowywane. W nowym obrazie punkty kluczowe znajdowane są przy użyciu tego samego detektora, ale aby uniknąć problem wykrywania wielu identycznych punktów kluczowych, obraz jest podzielony i analizowany stosując przesuwne okno. Punkty kluczowe znajdujące się wewnątrz okna są wyodrębniane i są rozważane jako kandydaci występujące na obrazach treningowych. Przy wystarczającej ilości potwierdzonych punktów obliczane jest przekształcenie perspektywy i jeśli wykryte rogi są prawidłowo ukształtowane to produkt jest oznaczony jako rozpoznany. W tej pracy zostanie zaprezentowany algorytm, który umożliwia w środowisku mobilnym rozpoznawanie oraz liczenie widocznych produktów w otoczeniu użytkownika.