如何將bigram編程為python中的表？

Question

我正在做此作業，現在我被困住了。 我不能用英語編程Bigram頻率，不能用python 編程 “條件概率”嗎？

也就是說，概率 令牌 給定前面的令牌 等於他們的二元組或兩個標記同時出現的概率 ，除以前一個令牌的概率。

我有一個包含很多字母的文本，然后我計算出該文本中字母的概率，因此與文本中的字母相比，字母“ a”出現0.015% 。

這些字母來自^a-zA-Z ，我想要的是：
如何制作一個具有字母（（alphabet）x（alphabet））長度的表格，以及如何計算每種情況的條件概率？

就像是：

[[(a|a),(b|a),(c|a),...,(z|a),...(Z|a)]
 [(a|b),(b|b),(c|b),...,(z|b),...(Z|b)]
                    ...       ...
 [(a|Z),(b|Z),(c|Z),...,(z|Z),...(Z|Z)]]

為此，我應該計算概率，例如：如果此時您擁有字母“ a”，那么得到字母“ a”的機會是多少，依此類推。

我無法開始，希望您能啟動我，並希望我明確需要解決的問題。

Answer 1

假設您的文件沒有其他標點符號（足夠容易刪除）：

import itertools

def pairwise(s):
    a,b = itertools.tee(s)
    next(b)
    return zip(a,b)

counts = [[0 for _ in range(52)] for _ in range(52)]  # nothing has occurred yet
with open('path/to/input') as infile:
    for a,b in pairwise(char for line in infile for word in line.split() for char in word):  # get pairwise characters from the text
        given = ord(a) - ord('a')  # index (in `counts`) of the "given" character
        char = ord(b) - ord('a')   # index of the character that follows the "given" character
        counts[given][char] += 1

# now that we have the number of occurrences, let's divide by the totals to get conditional probabilities

totals = [sum(count[i] for i in range(52)) for count in counts]
for given in range(52):
    if not totals[given]:
        continue
    for i in range(len(counts[given])):
        counts[given][i] /= totals[given]

我沒有測試過，但這應該是一個好的開始

這是一個字典版本，應該更易於閱讀和調試：

counts = {}
with open('path/to/input') as infile:
    for a,b in pairwise(char for line in infile for word in line.split() for char in word):
        given = ord(a) - ord('a')
        char = ord(b) - ord('a')
        if given not in counts:
            counts[given] = {}
        if char not in counts[given]:
            counts[given][char] = 0
        counts[given][char] += 1

answer = {}
for given, chardict in answer.items():
    total = sum(chardict.values())
    for char, count in chardict.items():
        answer[given][char] = count/total

現在， answer包含您追求的概率。 如果您想給定“ b”的概率為“ a”，請查看answer['b']['a']