producten aan elkaar linken
ik heb een vraag. wij zijn studenten van het windesheim, en zijn bezig met een schoolopdracht waarbij we een excel/csv (of: een lijst, niet per se een excel / csv) met daarin de producten van gamma, praxis, hornbach.
we willen nu de producten aan elkaar linken, zodat de producten allemaal een groep hebben en op die manier we de 'goedkoopste' eruit kunnen filteren. maar, wij lopen vast.
we hebben ons verdiept in de fuzzy search methode en Levenshtein methode, maar dat is niet betrouwbaar genoeg.
Twee regels uit ons bestand:
- Sencys universele schroef RK TX zwart 4x16mm 30st. - 2.19 euro (PRAXIS)
- universele schroef RK TX zwart 4x16mm 30 stuks Sencys - 2.40 euro (GAMMA)
We hebben onder meer het merk en de prijs er al uitgefilterd, maar alsnog - geen betrouwbaar resultaat.
weet iemand hoe wij het best te werk kunnen gaan? want, we lopen er in vast, een hoofdpijndossier lijkt het wel.
we hebben vooral gekeken maar methodes via PHP, maar misschien moeten we wel in de python-richting zoeken? geen idee.
Je koppelt automatisch op basis van waarschijnlijkheid. Maar wat je wilt is zoveel mogelijk zekerheid.
- eerst ga je per productregel de kenmerken af (explode -functie)
- je telt hoe vaak ze met andere regels overeenkomen
- onderzoek de kenmerken die niet matchen, mogelijk hebben ze andere schrijfwijzen ("30st." vs "30 stuks")
- maak een koppeling tussen deze kenmerken en vergelijk de regels opnieuw
Op deze manier heb je snel koppelingen tussen alles wat te koppelen valt.
De taal waarin je het doet maakt niet uit. Kan PHP zijn, Python, JavaScript, Rust, ... waar je maar gelukkig van wordt.
The number of matching characters is calculated by finding the longest first common substring, and then doing this for the prefixes and the suffixes, recursively. The lengths of all found common substrings are added.
In PHP heeft dit algoritme de logische naam similar_text() gekregen.
Als ik in de documentatie en reacties kijk, valt wel gelijk iets op: als je de eerste var met de twee vergelijkt krijg je andere gelijkheidspercentages dan wanneer je de tweede met de eerste vergelijkt.
Iemand heeft daar zijn eigen similarity functie gepubliceerd, en er is ook nog zoiets als levenshtein() wat ook genoemd wordt.
Maar als je 10000-en producten moet vergelijken met nog eens 10000-en producten, is een waarschijnlijkheid dat ze hetzelfde zijn dan wel genoeg?
Ik denk dat je met beide methoden er niet aan ontkomt om alles nog een keer handmatig reviewen in een rekenblad.
Update: op rosettacode.org staan ook veel algoritmen, met source code in bijna elke taal.
Bijvoorbeeld de Jaro-similarity (nog geen PHP inplementatie): https://rosettacode.org/wiki/Jaro_similarity#C