[Emacs-diffs] master d7f0daf: Update the bidi test code and data

[Eli Zaretskii]

branch: master
commit d7f0daf7ecaa7b138f7c66796e23fa5982b0a8bb
Author: Eli Zaretskii <address@hidden>
Commit: Eli Zaretskii <address@hidden>

    Update the bidi test code and data
    
    * test/manual/BidiCharacterTest.txt: Import the version from
    Unicode Standard 9.0.0.
    * test/manual/biditest.el (biditest-generate-testfile): Allow 'x'
    in the 4th field of the test data.
---
 test/manual/BidiCharacterTest.txt |   55 +++++++++++++++++++++++++++++++++----
 test/manual/biditest.el           |    2 +-
 2 files changed, 51 insertions(+), 6 deletions(-)

diff --git a/test/manual/BidiCharacterTest.txt 
b/test/manual/BidiCharacterTest.txt
index 7a460b4..7e04d6c 100644
--- a/test/manual/BidiCharacterTest.txt
+++ b/test/manual/BidiCharacterTest.txt
@@ -1,13 +1,14 @@
-# BidiCharacterTest-8.0.0.txt
-# Date: 2015-02-19, 00:30:00 GMT [LI]
+# BidiCharacterTest-9.0.0.txt
+# Date: 2016-01-15, 22:30:00 GMT [LI]
+# © 2016 Unicode®, Inc.
+# For terms of use, see http://www.unicode.org/terms_of_use.html
 #
 # Unicode Character Database
-# Copyright (c) 1991-2015 Unicode, Inc.
-# For terms of use, see http://www.unicode.org/terms_of_use.html
+# For documentation, see http://www.unicode.org/reports/tr44/
 #
 # This file provides a conformance test for implementations of the
 # Unicode Bidirectional Algorithm, specified in UAX #9: Unicode
-# Bidirectional Algorithm, at http://www.unicode.org/unicode/reports/tr9/
+# Bidirectional Algorithm, at http://www.unicode.org/reports/tr9/
 #
 # The test data has been generated with a few constraints. Each test case
 # is a single paragraph, so the test data does not contain any characters
@@ -34,6 +35,7 @@
 #
 # Comment lines start with '#'.
 
+################################################################################
 # Examples from UAX #9
 
 # Examples from Section 3.3.5
@@ -50,6 +52,48 @@
 0627 0628 062C 0020 0062 006F 006F 006B 0028 0073 0029;0;0;1 1 1 0 0 0 0 0 0 0 
0;2 1 0 3 4 5 6 7 8 9 10
 0627 0628 062C 0020 0062 006F 006F 006B 0028 0073 0029;1;1;1 1 1 1 2 2 2 2 2 2 
2;4 5 6 7 8 9 10 3 2 1 0
 
+################################################################################
+# Test cases for the algorithm changes and clarifications made in Unicode 8.0
+
+# Explicit directional overrides applied to isolates tightly flanked by 
embeddings
+202E 0061 202A 0062 202C 2066 0063 2069 202A 0064 202C 0065 202C;2;0;x 1 x 2 x 
1 2 1 x 2 x 1 x;11 9 7 6 5 3 1
+202E 0061 202A 0062 202C 2066 0063 2069 202A 0064 202C 0065 202C;1;1;x 3 x 4 x 
3 4 3 x 4 x 3 x;11 9 7 6 5 3 1
+202D 05D0 202B 05D1 202C 2068 05D2 2069 202B 05D3 202C 05D4 202C;2;1;x 2 x 3 x 
2 3 2 x 3 x 2 x;1 3 5 6 7 9 11
+202D 0661 202B 0662 202C 2068 0663 2069 202B 0664 202C 0665 202C;0;0;x 2 x 4 x 
2 6 2 x 4 x 2 x;1 3 5 6 7 9 11
+
+# Explicit directional overrides applied to paired brackets
+202A 05D0 0028 05D1 202C 202D 0029;2;1;x 3 3 3 x x 2;3 2 1 6
+202A 05D0 0028 05D1 202C 202D 0029 202C;2;1;x 3 3 3 x x 2 x;3 2 1 6
+202B 0061 0028 0062 202C 202E 0029;2;0;x 2 2 2 x x 1;6 1 2 3
+202B 0061 0028 0062 202C 202E 0029 202C;2;0;x 2 2 2 x x 1 x;6 1 2 3
+202A 202E 0061 202C 0028 05D0 202C 202D 0029 202C;2;0;x x 3 x 3 3 x x 2 x;5 4 
2 8
+202B 202D 05D0 202C 0028 0061 202C 202E 0029 202C;2;1;x x 4 x 4 4 x x 3 x;8 2 
4 5
+202A 202E 0061 202C 0028 005B 05D0 202C 202D 005D 0029 202C;2;0;x x 3 x 3 3 3 
x x 2 2 x;6 5 4 2 9 10
+202B 202D 05D0 202C 0028 005B 0061 202C 202E 005D 0029 202C;2;1;x x 4 x 4 4 4 
x x 3 3 x;10 9 2 4 5 6
+202D 0028 202C 202A 05D0 0029 05D1;2;1;x 2 x x 3 3 3;1 6 5 4
+202D 0028 202C 202A 05D0 0029 05D1 202C;2;1;x 2 x x 3 3 3 x;1 6 5 4
+202E 0028 202C 202B 0061 0029 0062;2;0;x 1 x x 2 2 2;4 5 6 1
+202E 0028 202C 202B 0061 0029 0062 202C;2;0;x 1 x x 2 2 2 x;4 5 6 1
+202D 202E 0061 202C 0028 202C 202A 05D0 0029 05D1;2;0;x x 3 x 2 x x 3 3 3;2 4 
9 8 7
+202E 202D 05D0 202C 0028 202C 202B 0061 0029 0062;2;1;x x 4 x 3 x x 4 4 4;7 8 
9 4 2
+202D 202E 0061 202C 0028 005B 202C 202A 05D0 005D 0029 05D1;2;0;x x 3 x 2 2 x 
x 3 3 3 3;2 4 5 11 10 9 8
+202E 202D 05D0 202C 0028 005B 202C 202B 0061 005D 0029 0062;2;1;x x 4 x 3 3 x 
x 4 4 4 4;8 9 10 11 5 4 2
+
+# Nonspacing marks applied to paired brackets
+0061 0028 0062 0029 0331;1;1;2 2 2 2 2;0 1 2 3 4
+0061 0028 0332 0062 0029 0333;1;1;2 2 2 2 2 2;0 1 2 3 4 5
+05D0 0028 05D1 0029 0331;0;0;1 1 1 1 1;4 3 2 1 0
+05D0 0028 0332 05D1 0029 0333;0;0;1 1 1 1 1 1;5 4 3 2 1 0
+0661 0028 0662 0029 0331;0;0;2 1 2 1 1;4 3 2 1 0
+0661 0028 0332 0662 0029 0333;0;0;2 1 1 2 1 1;5 4 3 2 1 0
+
+# Nested bracket pairs that reach and exceed the fixed capacity of the bracket 
stack
+# a ( ( ... ( b ) ) ... ) with 62, 63, and 64 nested bracket pairs
+0061 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0062 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 
0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 
0029 0029 0029 00 [...]
+0061 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0062 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 
0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 
0029 0029 0029 00 [...]
+0061 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 0028 
0028 0028 0062 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 
0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 0029 
0029 0029 0029 00 [...]
+
+################################################################################
 # Miscellaneous test cases
 
 # Various sequences
@@ -246,6 +290,7 @@
 05D0 0020 2329 05D1 002E 0031 3009;0;0;1 1 1 1 1 2 1;6 5 4 3 2 1 0
 05D0 0020 3008 05D1 002E 0031 232A;0;0;1 1 1 1 1 2 1;6 5 4 3 2 1 0
 
+################################################################################
 # Permutations of sequences containing paired brackets
 
 # The sequences in this section consist of permutation patterns of three
diff --git a/test/manual/biditest.el b/test/manual/biditest.el
index 3545c50..c1a5750 100644
--- a/test/manual/biditest.el
+++ b/test/manual/biditest.el
@@ -46,7 +46,7 @@ The resulting file should be viewed with 
`inhibit-bidi-mirroring' set to t."
       (insert-file-contents input-file)
       (goto-char (point-min))
       (while (not (eobp))
-       (when (looking-at "^\\([0-9A-F ]+\\);\\([012]\\);\\([01]\\);\\([0-9 
]+\\);\\([0-9 ]+\\)$")
+       (when (looking-at "^\\([0-9A-F ]+\\);\\([012]\\);\\([01]\\);\\([0-9x 
]+\\);\\([0-9 ]+\\)$")
          (let ((codes (match-string 1))
                (default-paragraph (match-string 2))
                (resolved-paragraph (match-string 3))