Multiple Column Approximate Match

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Helsinki University of Technology | Master's thesis
Checking the digitized thesis and permission for publishing
Instructions for the author
Location:
P1 Ark Aalto

Authors

Date

2004

Department

Tietotekniikan osasto

Major/Subject

Ohjelmistotekniikka

Mcode

Tik-106

Degree programme

Language

en

Pages

62

Series

Abstract

Perinteinen tietokanta on pääosin suunniteltu nopeaan ja luotettavaan tiedonhakuun. Tämän lisäksi se voi vertailla merkkijonoja keskenään etsiäkseen vastaavia osia merkkijonoista. Tämä onnistuu siten, että käyttäjä antaa hakusanoina merkkijonon osia käyttäen SQL LIKE, NOT LIKE tai säännöllistä lauseketta. Kuitenkaan se ei pysty korjaamaan virheellisiä hakutermejä. Nämä virheet voivat olla puuttuvia, ylimääräisiä tai vääriä kirjaimia, jotka sekoittavat tietokannan hakukoneen. Sama ongelma esiintyy myös hakemisto- ja luettelohaussa, monikielihaussa, duplikaattien poistossa, tietojen siistimisessä, puheentunnistuksessa jne. Multicolumn Match -projektin tavoitteena on ratkaista tämä ongelma käyttämällä tunnettuja algoritmeja ja joitakin parannuksia. Tämän diplomityön tarkoituksena on analysoida parannuksia sekä teoreettisesti että käytännössä. Teoreettinen analyysi pohjaa kirjallisuustutkimukseen ja algoritmien analyysiin, käytännön analyysi puolestaan sisältää vertailuja muiden markkinoilla olevien tuotteiden kanssa sekä kokeita, jotka testaavat tuotetun ohjelmiston erilaisia piirteitä. Testaustuloksien mukaan käytetyt algoritmit ja rakenteet lyhentävät hakuaikaa poistamalla duplikaatteja sekä vähentämällä mahdollisten kandidaattien määrää. Trie-rakenne dominoi hakuaikaa ja se pitäisi joko korvata jollakin tehokkaammalla rakenteella tai optimoida, jotta kokonaishakuaika lyhentyisi. Hajautettua laskentaa täytyy parantaa. Kokeen avulla voimme todeta, että kun virhemäärä on pieni (nollasta neljään), on Multicolumn Matcherin ohjelmisto (mCorrection) nopeampi ja skaalautuvampi kuin muut testattavat tuotteet, SSA-NAME ja FACT-Finder. Neljällä virheellä SSA-NAME3:n keskimääräinen hakuaika näytti olevan pienin, mutta jos luottamusvälit otetaan huomioon, on mCorrection nopeampi. Tuloksen mukaan voimme arvioida mCorrection olevan nopein, kun datatietueen määrä on iso (yhdestä miljoonasta satoihin miljooniin).

Description

Supervisor

Soisalon-Soininen, Eljas

Thesis advisor

Soisalon-Soininen, Eljas

Keywords

datavase query, tietokantahaku, approximate match, sumeahaku, Levenshtein edit distance, Levenshtein edit-etäisyys, dynamic programming, dynaaminen ohjelmointi, IDA search, IDA haku, Patricia trie, Patricia trie, Fibonacci heap, Fibonacci-keko, data distribution, tietojen hajautus

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-2020120450380

Collections

[dipl] Teknillinen korkeakoulu / TKK