找出列表中最接近字符的字符串

Question

I have a pdf document that I have parsed into a list, say:

listTxt = ['met een motor, losse delen van caravans, losse delen van ',
           'aanhangwagens die in uw woonhuis, schuur of garage op ',
           'hetzelfde adres staan tot maximaal € 1.250,-.',
           ' ',
           ' horen deze losse delen bij een bedrijf? Of zijn ze bedoeld ',
           'aanhangwagens die niet kapot zijn verzekerd',  '• Schade door grondwater dat onverwacht het woonhuis ',
           'binnenstroomt door afvoerleidingen en apparaten die daarop ',
           'zijn aangesloten.',
           '• Schade door water dat uit een aquarium stroomt als het ',
           'aquarium onverwacht kapot is gegaan. We betalen ook voor de ',
           'inhoud van het aquarium tot maximaal € 1.250,-.',
           '• Schade door water dat uit een waterbed stroomt. Maar alleen als ',
           'het waterbed onverwacht kapot is gegaan.']

Now I want to return the string that is closest (in distance) to the euro symbol (€). I have looked at various algos like levenshtein distance etc., but my task is actually quite simple and this distance can be merely number of characters.

Looping with a condition kind of works:

for t in list:
    if 'aanhangwagens' and '€' in t:
        print(t)

Result:

hetzelfde adres staan tot maximaal € 1.250,-.
inhoud van het aquarium tot maximaal € 1.250,-.

But I want that 'aanhangwagens' that is in listTxt [1] is really close to the next text listTxt [2] (with the €), so the desired output is:

'aanhangwagens die in uw woonhuis, schuur of garage op ', 'hetzelfde adres staan tot maximaal € 1.250,-.'

for the phrase aquarium, it works fine because aquarium and € are in the same string ie listTxt[11]

'hetzelfde adres staan tot maximaal € 1.250,-.'

Answer 1

According to your definition, I wrote something that looks for close lines containing a certain characters. First you need to compute two lists "resa" and "rese". They tells if a given string is contained in your list. For instance if you look for "a" in the list ["abc", "ccd", "efg", "agf"] the resulting list will be [1,0,0,1]. You need to compute these for 'aanhangwagens' and the euro symbol. With these lists you can check the distances between the 1 in the euro list and the 1 in the 'aanhangwagens' list.

In your example the search for 'aanhangwagens' gives: [0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0] and the euro gives: [0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0]

The algorithm that I wrote keeps the closest string, BUT if two strings have the same distance it will put them in the list of the results both. Please, before use this code run some tests, I cannot assure you it will work in any case.

resa=[]
rese=[]
for t in listTxt:
    if 'aanhangwagens' in t:
        resa.append(1)
    else:
        resa.append(0)
    if '€' in t:
        rese.append(1)
    else:
        rese.append(0)

def close_line(aliste, alista, alistTxt):
    all_closest_lines=[]
    for i in range(len(aliste)):
        if(aliste[i]==0):
            continue
        else:
            closest_line=[]
            amin=max(len(aliste), len(alista))
            for j in range(len(alista)):
                if(alista[j]==0):
                    continue
                else:
                    if(abs(i-j)<amin):
                        amin=abs(i-j)
                        closest_line=[]
                        closest_line.append([alistTxt[j], "Closest to € in position{}".format(i)])
                    elif(abs(i-j)==amin):
                        closest_line.append([alistTxt[j], "Closest to € in position{}".format(i)])
            all_closest_lines+=closest_line
    return(all_closest_lines)

print(close_line(rese, resa, listTxt))

Results:

[['aanhangwagens die in uw woonhuis, schuur of garage op ', 'Closest to € in position2'], ['aanhangwagens die niet kapot zijn verzekerd', 'Closest to € in position11']]

Answer 2

You could try to generate a score to each sentence and then find groups of scores that correspond to groups of useful sentences. Then you'd end up with a total score for each 'match'. I made a crude implementation below.

import numpy as np


listTxt = ['met een motor, losse delen van caravans, losse delen van ',
           'aanhangwagens die in uw woonhuis, schuur of garage op ',
           'hetzelfde adres staan tot maximaal € 1.250,-.',
           ' ',
           ' horen deze losse delen bij een bedrijf? Of zijn ze bedoeld ',
           'aanhangwagens die niet kapot zijn verzekerd',  '• Schade door grondwater dat onverwacht het woonhuis ',
           'binnenstroomt door afvoerleidingen en apparaten die daarop ',
           'zijn aangesloten.',
           '• Schade door water dat uit een aquarium stroomt als het ',
           'aquarium onverwacht kapot is gegaan. We betalen ook voor de ',
           'inhoud van het aquarium tot maximaal € 1.250,-.',
           '• Schade door water dat uit een waterbed stroomt. Maar alleen als ',
           'het waterbed onverwacht kapot is gegaan.']

euro = np.array([string.count('€') for string in listTxt])
ahw = np.array([string.count('aanhangwagen') for string in listTxt])

all_values = np.add(euro,ahw)


score = []
matches = []
for i, value in enumerate(all_values):
    if value > 0:
        score.append(value)
        matches.append(listTxt[i])
    elif score:
        print(sum(score), matches)
        score = []
        matches = []

It counts the amount of times either '€' or 'aanhangwagen' is found in each sentence, then summates the result. Then make a small loop that finds the groups of 'close' values in between the zeroes.

That way you get a ranking of different (groups of) sentences and a score next to them on how many times your search words were in theses sentences.

In this case, the result is:

2 ['aanhangwagens die in uw woonhuis, schuur of garage op ', 'hetzelfde adres staan tot maximaal € 1.250,-.']
1 ['aanhangwagens die niet kapot zijn verzekerd']
1 ['inhoud van het aquarium tot maximaal € 1.250,-.']

Which is what you wanted!