C中访问一个队列时分任务给N个线程

Question

您如何为N个线程委派任务以使工作负载均匀分布？

假设我们有一个队列

[the] -> [quick] -> [brown] -> [fox] -> [jumps] -> [over] -> [the] -> [lazy] -> [dog]

我们有N个线程来分担队列出队的工作量和 output 个单词，其中至少一个单词仅由一个线程打印。

这是我的尝试（已更新，已修复null打印）：

#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>

#define threadCount 8    // Set number of threads

pthread_t* thread;
pthread_mutex_t lock;

//========= Setup for Queue =========
struct node
{
    char *key;
    struct node *next;
};

struct Q 
{
    struct node *front, *rear;
};

struct node* newNode(char *key)
{
    struct node* temp = (struct node*)malloc(sizeof(struct node));
    temp->key = key;
    temp->next = NULL;
    return temp;
}

struct Q* q;

void enqueue(char* key)
{
    struct node* temp = newNode(key);

    if(q->rear == NULL)
    {
        q->front = q->rear = temp;
        return;
    }
    q->rear->next = temp;
    q->rear = temp;
}

char* dequeue()
{
    if (q->front == NULL)
    {
        return NULL;
    }

    struct node* temp = q->front;
    char *key = temp->key;

    q->front = q->front->next;

    if(q->front == NULL)
    {
        q->rear = NULL;
    }
    free(temp);

    return key;
}
//========= Setup for Queue =========

void *run(void* arg)
{
    int id = *(int*)arg;
    char* node;

    while(q->front != NULL)
    {
        pthread_mutex_lock(&lock);
        node = dequeue();
        pthread_mutex_unlock(&lock);

        if(node == NULL)
        {
            return NULL;
        }
        
        printf("Thread %d: %s\n", id, node);
    }

    return 0;
}

int main()
{
    q = (struct Q*)malloc(sizeof(struct Q));
    q->front = NULL;
    q->rear = NULL;

    enqueue("the");
    enqueue("quick");
    enqueue("brown");
    enqueue("fox");
    enqueue("jumps");
    enqueue("over");
    enqueue("the");
    enqueue("lazy");
    enqueue("dog");

    thread = malloc(sizeof(pthread_t)*threadCount);
    
    // Should output lines be only N-1 due to how the id is generated?
    for(int id = 0; id < threadCount; id++)
    {
        pthread_create(&thread[id], NULL, (void *) run, &id);
    }

    for(int id = 0; id < threadCount; id++)
    {
        pthread_join(thread[id], NULL);
    }

    free(thread);
    free(q);

    return 0;
}

这是我未解决的问题：

• 有时也有打印Thread N的行，但根据我的实现方式（参见 main），线程号的最大值 output 应该是N-1 。

Answer 1

1. 锁定互斥体
2. 从队列中取出一个项目
3. 解锁互斥量
4. 使用项目完成工作

您不想在工作时持有互斥锁（例如printf ），因为这样一次只能有一个线程工作——您并不是真正在使用多个线程。

你得到(null)打印的原因是你的代码检查q->front != NULL而它没有锁定互斥体。 然后当它锁定互斥量时，队列为空。 解决方案是线程应该出队，然后在出队和解锁互斥锁后，检查它是否出队NULL 。

在使用线程时，您不能期望工作以“正确”的顺序完成。 当您不关心顺序时，您可以使用线程。

如果某些线程不打印任何文字，那是正常的 - 您的“工作”非常快，并且您的线程太多，无法完成工作量。 一些线程没有得到任何工作是可以理解的，因为所有工作在它们启动时已经完成。 您可以通过在printf之前或之后调用类似sleep(1)的调用来解决此问题，以减慢线程速度。

---

有时您的线程 ID 是错误的。 当每个线程启动时，它会访问main中的id变量。 pthread_create function 不等待线程读取变量。 main将id设置为 0，然后启动一个线程，然后将id设置为 1，然后启动一个线程，...，然后将id设置为 N 并停止循环。 线程什么时候读取变量？ 不知道，可能是任何时候，所以它读取的数字可能高于正确的数字。

您可以通过为每个线程创建一个新变量来保存其 ID（使用new或仅使用 8 个独立整数的数组）来解决此问题，或者您可以使用一些小技巧，并将 ID 转换为指针，因为它没有成为一个真正的指针：

// No &. Just take the number and use that number as a pointer.
//                                              vvvvvvvv
pthread_create(&thread[id], NULL, (void *) run, (void *)id);
//                                ^^^^^^^^
//     don't know why you wrote (void *) here

在运行 function 中：

int id = (int)arg;
// no *. This isn't a pointer to an int, it's just an int hiding in a pointer variable