66 29 allReduce 32 9721390 1
69 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
74 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
78 29 allToAll 13824 13824
80 29 allToAll 13824 13824
83 29 allReduce 1 11245758
86 29 allReduce 795 5153979
91 29 allToAll 13824 13824
93 29 allToAll 13824 13824
96 29 allReduce 1 1709170
99 29 allReduce 32 18350318 1
100 29 compute 60481274853
102 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 3008552173
105 29 allReduce 2 4599723
107 29 allToAll 13824 13824
109 29 allToAll 13824 13824
112 29 allReduce 1 1107124
115 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
116 29 compute 175827364941
118 29 allReduce 4 292916445
121 29 allToAllV 25641510 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801270 801270 801270 25834050 828900 828900 828900 828900 828900 828900 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270
124 29 allToAllV 25641510 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801270 801270 801270 25834050 828900 828900 828900 828900 828900 828900 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270
127 29 allReduce 1729832 578421620
128 29 compute 10273163656
138 29 allReduce 223729 166976917
141 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
145 29 compute 29258363889
147 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2992265451
150 29 allReduce 2 3870669
152 29 allToAll 13824 13824
154 29 allToAll 13824 13824
157 29 allReduce 1 4781199
160 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
161 29 compute 84960246582
163 29 allReduce 4 2765915039
166 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
169 29 allReduce 223729 88485964
172 29 allReduce 1 65539944
175 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
176 29 compute 270475391647
178 29 allReduce 2 7837529048
181 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
187 29 allReduce 223729 101813519
190 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
191 29 compute 29320247607
193 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 3072563639
196 29 allReduce 2 2769858
198 29 allToAll 13824 13824
200 29 allToAll 13824 13824
203 29 allReduce 1 5906202
206 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
207 29 compute 84960246473
209 29 allReduce 4 2655468364
212 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
215 29 allReduce 223729 108325495
218 29 allReduce 1 60153816
221 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
222 29 compute 270475375127
224 29 allReduce 2 7779412173
227 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
230 29 allReduce 7 10479399
233 29 allReduce 223729 571865654
236 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
237 29 compute 29320247615
239 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 4949857911
242 29 allReduce 2 3384595
244 29 allToAll 13824 13824
246 29 allToAll 13824 13824
249 29 allReduce 1 3437764
252 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
253 29 compute 84960246486
255 29 allReduce 4 2532355406
258 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
261 29 allReduce 223729 186213476
264 29 allReduce 1 67081847
267 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
268 29 compute 270475375050
270 29 allReduce 2 6967961373
273 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
276 29 allReduce 7 7883678
279 29 allReduce 223729 673785367
282 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
283 29 compute 29320247997
285 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 6142415462
288 29 allReduce 2 5373954
290 29 allToAll 13824 13824
292 29 allToAll 13824 13824
295 29 allReduce 1 5562071
298 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
299 29 compute 84960246098
301 29 allReduce 4 2655953919
304 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
307 29 allReduce 223729 85692687
310 29 allReduce 1 56441344
313 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
314 29 compute 270475375100
316 29 allReduce 2 7200436743
319 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
322 29 allReduce 7 57363260
325 29 allReduce 223729 140532472
328 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
329 29 compute 29320247412
331 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2688876527
334 29 allReduce 2 3646384
336 29 allToAll 13824 13824
338 29 allToAll 13824 13824
341 29 allReduce 1 2161371
344 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
345 29 compute 84960245976
347 29 allReduce 4 2557330539
350 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
353 29 allReduce 223729 126597023
356 29 allReduce 1 68872892
359 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
360 29 compute 270475375114
362 29 allReduce 2 7498525116
365 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
368 29 allReduce 7 30949238
371 29 allReduce 223729 97846061
374 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
375 29 compute 29320247414
377 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2540371933
380 29 allReduce 2 4284523
382 29 allToAll 13824 13824
384 29 allToAll 13824 13824
387 29 allReduce 1 1309458
390 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
391 29 compute 84960245991
393 29 allReduce 4 2570454678
396 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
399 29 allReduce 223729 94741755
402 29 allReduce 1 61094286
405 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
406 29 compute 270475375092
408 29 allReduce 2 7156128966
411 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
414 29 allReduce 7 6176672
415 29 compute 1020316199
417 29 allReduce 223729 114681412
420 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
421 29 compute 29320247389
423 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2788950379
426 29 allReduce 2 3026327
428 29 allToAll 13824 13824
430 29 allToAll 13824 13824
436 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
437 29 compute 84960245983
439 29 allReduce 4 2549038302
442 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
445 29 allReduce 223729 109984022
448 29 allReduce 1 65819455
451 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
452 29 compute 270475375077
454 29 allReduce 2 7142373388
457 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
460 29 allReduce 7 9732531
461 29 compute 1020316221
463 29 allReduce 223729 104597247
466 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
467 29 compute 29320247419
469 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2576532430
472 29 allReduce 2 2647600
474 29 allToAll 13824 13824
476 29 allToAll 13824 13824
479 29 allReduce 1 2338347
482 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
483 29 compute 84960245920
485 29 allReduce 4 3399077305
488 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
491 29 allReduce 223729 99779964
494 29 allReduce 1 55112832
497 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
498 29 compute 270475375086
500 29 allReduce 2 7549291152
503 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
506 29 allReduce 7 13925026
507 29 compute 1020316360
509 29 allReduce 223729 105449501
512 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
513 29 compute 29320247403
515 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2721023082
518 29 allReduce 2 2404852
520 29 allToAll 13824 13824
522 29 allToAll 13824 13824
525 29 allReduce 1 613517
528 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
529 29 compute 84960245950
531 29 allReduce 4 2895639251
534 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
537 29 allReduce 223729 104810444
540 29 allReduce 1 53275637
543 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
544 29 compute 270475375036
546 29 allReduce 2 7377836714
549 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
552 29 allReduce 7 18493310
553 29 compute 1020316220
555 29 allReduce 223729 108070363
558 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
562 29 compute 29258338740
564 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2753831729
567 29 allReduce 2 2446722
569 29 allToAll 13824 13824
571 29 allToAll 13824 13824
574 29 allReduce 1 3571303
577 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
578 29 compute 84960245672
580 29 allReduce 4 2796039261
583 29 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
586 29 allReduce 223729 130680188
587 29 compute 1567927015
589 29 allReduce 1 319876964
592 29 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
598 29 compute 29208830471
600 29 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2981956093
602 29 allToAll 13824 13824
604 29 allToAll 13824 13824
607 29 allReduce 1 5071107
610 29 allReduce 6 962494
613 29 allGatherV 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
614 29 compute 9827838775
616 29 allReduce 795 337587923
619 29 allReduce 1 1254640