compounded proper nouns

[arademaker]

The sentence is "A renda da noite de inauguração será doada ao Fundo Social de Solidariedade do Estado."

<s id="2114" ref="CF502-4" source="CETENFolha n=502 cad=Cotidiano sec=soc sem=94a" forest="1" text="...">

...
12      Fundo_Social_de_Solidariedade   Fundo_Social_de_Solidariedade   PROPN   PROP_M_S_@P<    Number=Sing|Gender=Masc 9
       nmod
13      de      de      ADP     PRP_@N< _       15      case
14      o       o       DET     ART_M_S_@>N     PronType=Art|Number=Sing|Gender=Masc    15      det
15      Estado  estado  NOUN    N_M_S_@P<       Number=Sing|Gender=Masc 12      nmod

Note that #13 deals with the difference between UD and PALAVRAS to encode MWE in a single token vs. dep relations. Here the problem is the identification of the MWE, in particular NE. This is only one case, we may have probably more. How to fix it? I am assuming that would need to be done manually.

[vcvpaiva]

is this issue still an issue? I thought Eckhard's new version, unpacking the mwes (that are now flat) had solved this one?

[livyreal]

o Eckhard apenas quebrou estas palavras, mas o fato de "do Estado" não participar da MWE precisa ser corrigido à mão, o POS tag individual de cada expressão das MWES também precisa ser feito à mão. Quando ele quebrou as mwes: Fundo_Social_de_Solidariedade (PROPN) virou Fundo (PROPN) Social (PROPN) de (PROPN) Solidariedade (PROPN).

Esta é uma issue que eu espero ser resolvida com a #110

Dá pra fechar, @arademaker ou é algo mais específico aqui?

[arademaker]

@livyreal não dá não. Como vai ficar o valor de MWE no campo misc? "Fundo_Social_de_Solidariedade_de_o_Estado" ou "Fundo_Social_de_Solidariedade_do_Estado" ? Em outras palavras, como lidar com as contrações? Por isso sou contra mantermos este valor MWE no campo misc!

Como ficam as relações dos tokens 14-18 ? Todos ligados ao 12 por flat:name ? Como ficam as upostag destes tokens? Vc pode editar o arquivo CF 502.conllu e me mandar a versão editada por email? Eu então coloco no repo e fecho este issue.

edited: concordo que provavelmente isto é parte do #110 mas não temos como pesquisar fácil as listas da @claudiafreitas como elas estão para sabermos se este nome ocorre nelas. Achei em uma delas uma MWE 'Fundo_Social' apenas, deve ser exatamente esta que estamos vendo aqui que foi quebrada indevidamente.

[vcvpaiva]

@arademaker you may have seen that there are 723 "fusions" in the UD_Portuguese corpus, as per stats in https://github.com/UniversalDependencies/UD_Portuguese/blob/master/stats.xml#L12.

[arademaker]

@vcvpaiva yes, lines such as this. I am aware of that and I know that we need to fix our data since we haven't encoded it. Actually, the English treebank haven't encoded it either. The documentation about it is here and we recently discussed it in UniversalDependencies/docs#322

But I didn't understand the reason for the comment here.

EDITED: fusions are also called contractions.

[arademaker]

@livyreal and @claudiafreitas do you agree with the changed in the file? Can I close this issue?

[vcvpaiva]

But I didn't understand the reason for the comment here.

well, it's just that you can create an issue to go over all the, not so many, 733 occurrences, if you wish.

[arademaker]

In the UD_Portuguese we have ~17K contractions!

$ egrep "^[0-9]+-[0-9]+\t" *conllu | wc -l
   17439

We need first to improve our library for read and write conllu files. It can't handle these lines yet.

[vcvpaiva]

but only 723 fusions? so fusions must be a special kind of contraction?

[arademaker]

@vcvpaiva no. unique 723 fusions! But 17439 occurrences of fusions. here is how they count fusions, the same regex that I used above.

[vcvpaiva]

ok, then not feasible indeed.

[arademaker]

este issue começou com uma discussão de um caso particular de MWE de nome, depois passou a falar de contrações. De lá para cá, novo tratamento esta sendo adotado para MWE de nomes.. Logo, vou fechar este issue aproveitando correção que fiz em 2ecb4aa