从 Jenkins API 获取所有构建日志

Question

我需要从 Jenkins 实例获取所有构建的日志。

def get_builds():
    builds_api_res = session.get('https://build.org.com/api/json?depth=3',stream=True,auth=(username,access_token),).json()
    for chunk in builds_api_res.iter_content(chunk_size=1024*1024):
        # Do something with the chunk of data
        print(chunk)
get_builds()

问题是，这会返回如此巨大的响应，以至于 Jenkins 实例本身用完了 memory。

因此，另一种方法是分别从每个文件夹中获取所有构建。 那就是我面临的问题。

当我查看文件夹时，有些构建在文件夹下 2 层，有些在文件夹下 3 层，也许还有一些构建在根文件夹下 4 层。 除非找到构建，否则我不确定如何继续在文件夹中查找文件夹。

for project in projects_api['jobs']:
    folder_url = JENKINS_URL+'/job/'+project['name']+'/api/json'
    folders = session.get(folder_url, auth=(username, access_token)).json()
    jobs = folders['jobs']
    for job in jobs:
        job_det_url = job['url'] + 'api/json'
        all_builds = session.get(job_det_url, auth=(username, access_token)).json()
        latest_build = all_builds['builds'][-1]
        print(latest_build['url'])
        log_url = latest_build['url'] +'/consoleText'
        print(log_url)
        logs = session.get(log_url, auth=(username, access_token))
        print(logs.text)

这适用于根文件夹内的构建。 但是，如果该文件夹中有更多文件夹，则它将失败。 如果有办法的话，如何使用 API直接从父文件夹中找到构建？ 还是有更好的方法来解决整个问题？

Answer 1

我决定继续在循环中检查文件夹内的文件夹，如果找到构建则中断它。 似乎在工作。

def check_builds(job):
    try:
        if job['color']:
            print("Build found, sleepng for 7 seonds")
            time.sleep(7)
            build_url = job['url'] + 'api/json'
            builds = session.get(build_url, auth=(username,access_token),stream=True).json()
            resp = builds['builds'][0]['url']
            log_url = resp + 'consoleText'
            time.sleep(10)
            print("Logs Found. Sleeping for 10 seconds")
            logs = session.get(log_url, auth=(username,access_token),stream=True)
            print(logs.text)
            return True
    except:
        return job['url']

def no_build(job):
    print("No builds found. Checking folders in 7 seonds")
    time.sleep(7)
    next_url = job + 'api/json'
    print(next_url)
    try:
        next_level = session.get(next_url, auth=(username,access_token),stream=True).json()
        for job in next_level['jobs']:
            resp = check_builds(job)
            if resp is not True:
                no_build(resp)
    except:
        pass


# Get a list of all jobs from root folders
projects_api = session.get(JENKINS_URL + '/api/json', auth=(username,access_token),stream=True).json()
for root_folder in projects_api['jobs']:
    root_folder_job_url = JENKINS_URL + 'job/'+ root_folder['name']+ '/api/json/tree=jobs[name,url,builds[number,url]]'
    root_jobs = session.get(root_folder_job_url, auth=(username,access_token),stream=True).json()
    for r_job in root_jobs['jobs']:
        check = check_builds(r_job)
        if check is not True:
            no_build(check)