nlp.py.nonbrk.de 1.7 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281
  1. ## List of Non-breaking tokens containing period for German
  2. ## 28-Sep-2012
  3. ##
  4. ## Adapted from Moses tokenizer
  5. ##
  6. # Roman Numerals. A dot after one of these is not a sentence break in German.
  7. I.
  8. II.
  9. III.
  10. IV.
  11. V.
  12. VI.
  13. VII.
  14. VIII.
  15. IX.
  16. X.
  17. XI.
  18. XII.
  19. XIII.
  20. XIV.
  21. XV.
  22. XVI.
  23. XVII.
  24. XVIII.
  25. XIX.
  26. XX.
  27. i.
  28. ii.
  29. iii.
  30. iv.
  31. v.
  32. vi.
  33. vii.
  34. viii.
  35. ix.
  36. x.
  37. xi.
  38. xii.
  39. xiii.
  40. xiv.
  41. xv.
  42. xvi.
  43. xvii.
  44. xviii.
  45. xix.
  46. xx.
  47. # Titles and Honorifics
  48. Adj.
  49. Adm.
  50. Adv.
  51. Asst.
  52. Bart.
  53. Bldg.
  54. Brig.
  55. Bros.
  56. Capt.
  57. Cmdr.
  58. Col.
  59. Comdr.
  60. Con.
  61. Corp.
  62. Cpl.
  63. DR.
  64. #Dr. handled by ignoring case
  65. Ens.
  66. Gen.
  67. Gov.
  68. Hon.
  69. Hosp.
  70. Insp.
  71. Lt.
  72. MM.
  73. MR.
  74. MRS.
  75. MS.
  76. Maj.
  77. Messrs.
  78. Mlle.
  79. Mme.
  80. #Mr. handled by ignoring case
  81. #Mrs. handled by ignoring case
  82. #Ms. handled by ignoring case
  83. Msgr.
  84. Op.
  85. Ord.
  86. Pfc.
  87. Ph.
  88. Prof.
  89. Pvt.
  90. Rep.
  91. Reps.
  92. Res.
  93. Rev.
  94. Rt.
  95. Sen.
  96. Sens.
  97. Sfc.
  98. Sgt.
  99. Sr.
  100. St.
  101. Supt.
  102. Surg.
  103. # Misc
  104. Mio.
  105. Mrd.
  106. bzw.
  107. v.
  108. vs.
  109. usw.
  110. d.h.
  111. z.B.
  112. u.a.
  113. etc.
  114. Mrd.
  115. MwSt.
  116. ggf.
  117. d.J.
  118. D.h.
  119. m.E.
  120. vgl.
  121. I.F.
  122. z.T.
  123. sogen.
  124. ff.
  125. u.E.
  126. g.U.
  127. g.g.A.
  128. c.-à-d.
  129. Buchst.
  130. u.s.w.
  131. sog.
  132. u.ä.
  133. Std.
  134. evtl.
  135. Zt.
  136. Chr.
  137. u.U.
  138. o.ä.
  139. Ltd.
  140. b.A.
  141. z.Zt.
  142. spp.
  143. sen.
  144. SA.
  145. k.o.
  146. jun.
  147. i.H.v.
  148. dgl.
  149. dergl.
  150. Co.
  151. zzt.
  152. usf.
  153. s.p.a.
  154. Dkr.
  155. Corp.
  156. bzgl.
  157. BSE.
  158. # Ordinals are done with . in German - "1." = "1st" in English
  159. 1.
  160. 2.
  161. 3.
  162. 4.
  163. 5.
  164. 6.
  165. 7.
  166. 8.
  167. 9.
  168. 10.
  169. 11.
  170. 12.
  171. 13.
  172. 14.
  173. 15.
  174. 16.
  175. 17.
  176. 18.
  177. 19.
  178. 20.
  179. 21.
  180. 22.
  181. 23.
  182. 24.
  183. 25.
  184. 26.
  185. 27.
  186. 28.
  187. 29.
  188. 30.
  189. 31.
  190. 32.
  191. 33.
  192. 34.
  193. 35.
  194. 36.
  195. 37.
  196. 38.
  197. 39.
  198. 40.
  199. 41.
  200. 42.
  201. 43.
  202. 44.
  203. 45.
  204. 46.
  205. 47.
  206. 48.
  207. 49.
  208. 50.
  209. 51.
  210. 52.
  211. 53.
  212. 54.
  213. 55.
  214. 56.
  215. 57.
  216. 58.
  217. 59.
  218. 60.
  219. 61.
  220. 62.
  221. 63.
  222. 64.
  223. 65.
  224. 66.
  225. 67.
  226. 68.
  227. 69.
  228. 70.
  229. 71.
  230. 72.
  231. 73.
  232. 74.
  233. 75.
  234. 76.
  235. 77.
  236. 78.
  237. 79.
  238. 80.
  239. 81.
  240. 82.
  241. 83.
  242. 84.
  243. 85.
  244. 86.
  245. 87.
  246. 88.
  247. 89.
  248. 90.
  249. 91.
  250. 92.
  251. 93.
  252. 94.
  253. 95.
  254. 96.
  255. 97.
  256. 98.
  257. 99.
  258. 999.
  259. # Added from Symantec data
  260. Ver.
  261. ca.
  262. i.d.R.
  263. inkl.
  264. d.
  265. h.
  266. i.
  267. R.
  268. z.
  269. B.