任务调度并行算法的Python简单实现

作者: admin 分类: 公众号存档            2 次浏览 发布时间: 2018-04-08 23:21

公众号:杨建荣的学习笔记 · 作者:r15笔记第87天 · 发布:2018-04-08 23:21:55 · 原文链接

本来自己想先使用Java来写一个版本,然后根据语法转义写成Python版本的,结果发现实际去做的时候有很多不同之处,首先就是Python中没有直接的数组的结构,入手点就不同,然后是API的使用程度上来看,发现Python中真是丰富,几乎都不需要再额外定制一些函数就可以轻松得到想要的结果。

Python版本的初版如下,我在考虑是否要引入第二维度作为参考,根据额外的维度来达到一种弹性的调度策略。

import random
ARRAY_SIZE = 10
def random_int_list(start, stop, length):
    start, stop = (int(start), int(stop)) if start <= stop else (int(stop), int(start))
    length = int(abs(length)) if length else 0
    random_list = []
    for i in range(length+1):
        random_list.append(random.randint(start, stop))
    return random_list

random_list = random_int_list(1,100,ARRAY_SIZE)
print(random_list)

random_list.sort(reverse=1)
print(random_list)

GRP_NO = 4
array_group = [[0]*1 for i in range(GRP_NO)]
print array_group

sum_value_array = []
for i in range(GRP_NO):
    sum_value_array.append(i)
print(sum_value_array)

for i in random_list[1:ARRAY_SIZE+1]:
    print(i)

array_sum_group=[0]*GRP_NO

for index,val in enumerate(random_list[1:GRP_NO+1]):
    #print 'index is %d, val is %d' % (index,val)
    array_group[index][0]=val
    array_sum_group[index]=val

print(array_sum_group,array_sum_group.index(min(array_sum_group)))


print(random_list)
for index,val in enumerate(random_list[GRP_NO+1:]):
    #print 'index is %d, val is %d' % (index,val)
    min_group_no = array_sum_group.index(min(array_sum_group))
    array_group[min_group_no].append(val)
    array_sum_group[min_group_no] += val


print("array_group",array_group)
print("array_sum_group",array_sum_group)

先看看目前的实现结果吧。如果是100个元素,分为4组,元素的分布还算比较平均。

('array_group', [[84, 24, 21], [73, 51, 3], [63, 62], [63, 61]])
('array_sum_group', [129, 127, 125, 124])

这在元素的量级比较大的时候,效果就很明显了,比如元素是1000个,分为4组,得到的每组的结果集都是非常平均的。

('array_sum_group', [12951, 12951, 12951, 12951])

如果元素为1000,并行度为10,结果还不赖,达到了自己的初步预期了。

('array_sum_group', [4877, 4876, 4876, 4876, 4876, 4876, 4876, 4876, 4876, 4876])

admin

杨建荣,《Oracle DBA工作笔记》《MySQL DBA工作笔记》作者,dbaplus社群发起人之一,腾讯云TVP,现任竞技世界系统部经理,拥有十多年数据库开发和运维经验,目前专注于开源技术、运维自动化和性能调优

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注