Summary of flapping tests this year

[Douglas Bagnall]

When did these ones get bad?

>   11 UNEXPECTED(failure): samba.wbinfo_simple.check-secret.domain=SAMBA-TEST.wbinfo(nt4_member:local)

./parse-email/parse-autobuild-email --file-regex sn-devel-144
--line-regex='UNEXPECTED.+SAMBA-TEST.wbinfo' --histogram
2015-11   0
2015-12   0
2016-01   0
2016-02   0
2016-03   0
2016-04   0
2016-05   0
2016-06   0
2016-07   0
2016-08   0
2016-09   0
2016-10   0
2016-11   0
2016-12   0
2017-01   0
2017-02   0
2017-03   0
2017-04   0
2017-05   0
2017-06   0
2017-07   0
2017-08   0
2017-09   0
2017-10   0
2017-11   0
2017-12   0
2018-01   0
2018-02   6 ######
2018-03   8 ########
2018-04   4 ####
2018-05   6 ######
2018-06   6 ######
2018-07   4 ####
2018-08  12 ############
2018-09   4 ####
2018-10   7 #######
2018-11   6 ######
2018-12   7 #######
2019-01   8 ########
2019-02   4 ####

Maybe that helps. The test itself is ancient, and all of a sudden a
year ago wbinfo stopped being able to find the DC.

>    3 UNEXPECTED(failure): samba3.raw.notify.mask(nt4_dc)
>    3 UNEXPECTED(failure): samba3.smb2.notify.mask(nt4_dc)

$ ./parse-email/parse-autobuild-email --file-regex sn-devel-144
--line-regex='UNEXPECTED.+notify.mask' --histogram
2015-11   0
2015-12   0
2016-01   0
2016-02   2 ##
2016-03   3 ###
2016-04   1 #
2016-05   0
2016-06   0
2016-07   0
2016-08   1 #
2016-09   0
2016-10   0
2016-11   0
2016-12   1 #
2017-01   0
2017-02   1 #
2017-03   0
2017-04   1 #
2017-05   0
2017-06   0
2017-07   2 ##
2017-08   0
2017-09   0
2017-10   0
2017-11   0
2017-12   1 #
2018-01   0
2018-02   0
2018-03   1 #
2018-04   1 #
2018-05   2 ##
2018-06   2 ##
2018-07   4 ####
2018-08   1 #
2018-09   1 #
2018-10   3 ###
2018-11   1 #
2018-12   2 ##
2019-01   3 ###
2019-02   3 ###


>    2 UNEXPECTED(error): samba4.drs.replica_sync.python(promoted_dc).replica_sync.DrsReplicaSyncTestCase.test_ReplConflictsRenamedVsNewRemoteWin(promoted_dc:local)
>    2 UNEXPECTED(error): samba4.drs.replica_sync.python(promoted_dc).python2.replica_sync.DrsReplicaSyncTestCase.test_ReplConflictsRemoteWin_with_child(promoted_dc:local)

$ ./parse-email/parse-autobuild-email --file-regex sn-devel-144
--line-regex='UNEXPECTED.+replica_sync' --histogram
2015-11   0
2015-12   0
2016-01   0
2016-02   0
2016-03   0
2016-04   0
2016-05   0
2016-06   1 #
2016-07   3 ###
2016-08   0
2016-09  13 #############
2016-10   7 #######
2016-11   9 #########
2016-12   6 ######
2017-01   4 ####
2017-02   2 ##
2017-03  10 ##########
2017-04  17 #################
2017-05   8 ########
2017-06  10 ##########
2017-07   2 ##
2017-08   1 #
2017-09   3 ###
2017-10   4 ####
2017-11   2 ##
2017-12   2 ##
2018-01   1 #
2018-02   1 #
2018-03   0
2018-04   1 #
2018-05   2 ##
2018-06   3 ###
2018-07   3 ###
2018-08   3 ###
2018-09   1 #
2018-10   4 ####
2018-11   6 ######
2018-12   6 ######
2019-01   6 ######
2019-02   2 ##



> 
> 
> Three can be blamed on samba_kcc:
> 
>    1 UNEXPECTED(error): samba4.drs.samba_tool_drs.python(promoted_dc).python2.samba_tool_drs.SambaToolDrsTests.test_samba_tool_kcc(promoted_dc:local)
>    1 UNEXPECTED(error): samba4.drs.samba_tool_drs.python(promoted_dc).samba_tool_drs.SambaToolDrsTests.test_samba_tool_kcc(promoted_dc:local)
>    1 UNEXPECTED(error): samba4.drs.samba_tool_drs.python(vampire_dc).python2.samba_tool_drs.SambaToolDrsTests.test_samba_tool_kcc(vampire_dc:local) 

$ ./parse-email/parse-autobuild-email --file-regex sn-devel-144
--line-regex='UNEXPECTED.+samba_tool_kcc' --histogram
2015-11   0
2015-12   0
2016-01   0
2016-02   0
2016-03   0
2016-04   0
2016-05   0
2016-06   0
2016-07   1 #
2016-08   1 #
2016-09   0
2016-10   1 #
2016-11   2 ##
2016-12   0
2017-01   2 ##
2017-02   1 #
2017-03   0
2017-04   0
2017-05   0
2017-06   1 #
2017-07   2 ##
2017-08   1 #
2017-09   0
2017-10   0
2017-11   1 #
2017-12   0
2018-01   1 #
2018-02   0
2018-03   2 ##
2018-04   0
2018-05   0
2018-06   0
2018-07   2 ##
2018-08   1 #
2018-09   1 #
2018-10   1 #
2018-11   1 #
2018-12   2 ##
2019-01   3 ###
2019-02   0

... and besides the wbinfo one, I don't know if we learn anything of
substance.

cheers,
Douglas