Análisis de texto, una introducción

Anรกlisis de Texto

Dibujo con texto de la constituciรณn Ricardo Vega

natural language processing

Ricardo Vega - ricardov.cl - @ricardov_cl 2020 v1 (2020) | Creative Commons - Attribution-NonCommercial-NoDerivatives 4.0 International

NLP Natural Language Processing Procesamiento de Lenguaje Natural

Lenguajes Naturales

Lenguajes Artificiales

Español

Java

Inglés

Python

Chino

HTML

NLP Natural Language Processing Procesamiento de Lenguaje Natural TEXT ANALYSIS

TÉCNICAS

Lingüística Computacional

Frecuencia de palabras (bolsa de palabras)

Análisis literario (patrones en diálogos)

Distancia léxica (distribución de palabras)

Análisis predictivo (tendencias)

Reconocimiento de entidades (Named-entity recognition) Topic modeling (temas y subtemas) Análisis de sentimiento (positivo o negativo) Red de palabras (relaciones entre palabras) Estilometría (estilo, autoría) Generación de texto

Ciencia de datos - Data Science Convergencia de 3 áreas Computación Programación

Estadística Matemáticas

Conocimiento de Dominio

Conocimiento de Dominio

Computación

Estadística

Experiencias Conceptos Problemas Objetivos Métodos ...

Entornos Lenguajes Algoritmos Tecnologías Soportes Medios Procesos ...

Descriptiva/Inferencial Análisis Tipo de datos EDA Estadísticos principales ...

Proceso

Pregunta

Datos

AnĂĄlisis Exploratorio de Datos

Comunicar

QuĂŠ nos interesa descubrir o explorar ...

Adquirir, limpiar, preparar Corpus, bolsa de palabras, Document-Term Matrix ...

Describir, analizar, visualizar ...

Compartir conclusiones, descubrimientos ...

Proceso

Pregunta

Datos

Análisis Exploratorio de Datos

Comunicar

Qué nos interesa descubrir o explorar ...

Adquirir, limpiar, preparar Corpus, bolsa de palabras, Document-Term Matrix ...

Describir, analizar, visualizar ...

Compartir conclusiones, descubrimientos ...

Importar texto limpiar eliminar puntuación stopwords split join tokenizar encontrar comparar (match) word count sort visualizar string join etc

Proceso Limpiar eliminar, puntuación, stopwords

caracteres invisibles: \t (tabulador) \n (salto de línea)

Volver a los diecisiete después de vivir un siglo

Volver a los diecisiete\n \tdespués de vivir un siglo\n

volver diecisiete después vivir un siglo como descifrar signos

es como descifrar signos

es como descifrar signos\n

sin ser sabio competente

sin ser sabio competente.

sin ser sabio competente.\n

volver ser repente tan frágil

Volver a ser de repente

Volver a ser de repente\n

segundo volver sentir

tan frágil como un segundo,

tan frágil como un segundo,\n

profundo como niño frente

volver a sentir profundo

volver a sentir profundo\n

dios siento yo instante

como un niño frente a Dios,

como un niño frente a Dios,\n

fecundo

eso es lo que siento yo

eso es lo que siento yo\n

en este instante fecundo.

en este instante fecundo.\n

original

a eliminar

bolsa de palabras (bag of words)

Proceso Limpiar eliminar, puntuación, stopwords palabras_vacias_b = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, _, a, actualmente, acuerdo, adelante, ademas, además, adrede, afirmó, agregó, ahi, ahora, ahí, al, algo, alguna, algunas, alguno, algunos, algún, alli, allí, alrededor, ambos, ampleamos, antano, antaño, ante, anterior, antes, apenas, aproximadamente, aquel, aquella, aquellas, aquello, aquellos, aqui, aquél, aquélla, aquéllas, aquéllos, aquí, arriba, arribaabajo, aseguró, asi, así, atras, aun, aunque, ayer, añadió, aún, b, bajo, bastante, bien, breve, buen, buena, buenas, bueno, buenos, c, cada, casi, cerca, cierta, ciertas, cierto, ciertos, cinco, claro, comentó, como, con, conmigo, conocer, conseguimos, conseguir, considera, consideró, consigo, consigue, consiguen, consigues, contigo, contra, cosas, creo, cual, cuales, cualquier, cuando, cuanta, cuantas, cuanto, cuantos, cuatro, cuenta, cuál, cuáles, cuándo, cuánta, cuántas, cuánto, cuántos, cómo, d, da, dado, dan, dar, de, debajo, debe, deben, debido, decir, dejó, del, delante, demasiado, demás, dentro, deprisa, desde, despacio, despues, después, detras, detrás, dia, dias, dice, dicen, dicho, dieron, diferente, diferentes, dijeron, dijo, dio, donde, dos, durante, día, días, dónde, e, ejemplo, el, ella, ellas, ello, ellos, embargo, empleais, emplean, emplear, empleas, empleo, en, encima, encuentra, enfrente, enseguida, entonces, entre, era, erais, eramos, eran, eras, eres, es, esa, esas, ese, eso, esos, esta, estaba, estabais, estaban, estabas, estad, estada, estadas, estado, estados, estais, estamos, estan, estando, estar, estaremos, estará, estarán, estarás, estaré, estaréis, estaría, estaríais, estaríamos, estarían, estarías, estas, este, estemos, esto, estos, estoy, estuve, estuviera, estuvierais, estuvieran, estuvieras, estuvieron, estuviese, estuvieseis, estuviesen, estuvieses, estuvimos, estuviste, estuvisteis, estuviéramos, estuviésemos, estuvo, está, estábamos, estáis, están, estás, esté, estéis, estén, estés, ex, excepto, existe, existen, explicó, expresó, f, fin, final, fue, fuera, fuerais, fueran, fueras, fueron, fuese, fueseis, fuesen, fueses, fui, fuimos, fuiste, fuisteis, fuéramos, fuésemos, g, general, gran, grandes, gueno, h, ha, haber, habia, habida, habidas, habido, habidos, habiendo, habla, hablan, habremos, habrá, habrán, habrás, habré, habréis, habría, habríais, habríamos, habrían, habrías, habéis, había, habíais, habíamos, habían, habías, hace, haceis, hacemos, hacen, hacer, hacerlo, haces, hacia, haciendo, hago, han, has, hasta, hay, haya, hayamos, hayan, hayas, hayáis, he, hecho, hemos, hicieron, hizo, horas, hoy, hube, hubiera, hubierais, hubieran, hubieras, hubieron, hubiese, hubieseis, hubiesen, hubieses, hubimos, hubiste, hubisteis, hubiéramos, hubiésemos, hubo, i, igual, incluso, indicó, informo, informó, intenta, intentais, intentamos, intentan, intentar, intentas, intento, ir, j, junto, k, l, la, lado, largo, las, le, lejos, les, llegó, lleva, llevar, lo, los, luego, lugar, m, mal, manera, manifestó, mas, mayor, me, mediante, medio, mejor, mencionó, menos, menudo, mi, mia, mias, mientras, mio, mios, mis, misma, mismas, mismo, mismos, modo, momento, mucha, muchas, mucho, muchos, muy, más, mí, mía, mías, mío, míos, n, nada, nadie, ni, ninguna, ningunas, ninguno, ningunos, ningún, no, nos, nosotras, nosotros, nuestra, nuestras, nuestro, nuestros, nueva, nuevas, nuevo, nuevos, nunca, o, ocho, os, otra, otras, otro, otros, p, pais, para, parece, parte, partir, pasada, pasado, paìs, peor, pero, pesar, poca, pocas, poco, pocos, podeis, podemos, poder, podria, podriais, podriamos, podrian, podrias, podrá, podrán, podría, podrían, poner, por, por qué, porque, posible, primer, primera, primero, primeros, principalmente, pronto, propia, propias, propio, propios, proximo, próximo, próximos, pudo, pueda, puede, pueden, puedo, pues, q, qeu, que, quedó, queremos, quien, quienes, quiere, quiza, quizas, quizá, quizás, quién, quiénes, qué, r, raras, realizado, realizar, realizó, repente, respecto, s, sabe, sabeis, sabemos, saben, saber, sabes, sal, salvo, se, sea, seamos, sean, seas, segun, segunda, segundo, según, seis, ser, sera, seremos, será, serán, serás, seré, seréis, sería, seríais, seríamos, serían, serías, seáis, señaló, si, sido, siempre, siendo, siete, sigue, siguiente, sin, sino, sobre, sois, sola, solamente, solas, solo, solos, somos, son, soy, soyos, su, supuesto, sus, suya, suyas, suyo, suyos, sé, sí, sólo, t, tal, tambien, también, tampoco, tan, tanto, tarde, te, temprano, tendremos, tendrá, tendrán, tendrás, tendré, tendréis, tendría, tendríais, tendríamos, tendrían, tendrías, tened, teneis, tenemos, tener, tenga, tengamos, tengan, tengas, tengo, tengáis, tenida, tenidas, tenido, tenidos, teniendo, tenéis, tenía, teníais, teníamos, tenían, tenías, tercera, ti, tiempo, tiene, tienen, tienes, toda, todas, todavia, todavía, todo, todos, total, trabaja, trabajais, trabajamos, trabajan, trabajar, trabajas, trabajo, tras, trata, través, tres, tu, tus, tuve, tuviera, tuvierais, tuvieran, tuvieras, tuvieron, tuviese, tuvieseis, tuviesen, tuvieses, tuvimos, tuviste, tuvisteis, tuviéramos, tuviésemos, tuvo, tuya, tuyas, tuyo, tuyos, tú, u, ultimo, un, una, unas, uno, unos, usa, usais, usamos, usan, usar, usas, uso, usted, ustedes, v, va, vais, valor, vamos, van, varias, varios, vaya, veces, ver, verdad, verdadera, verdadero, vez, vosotras, vosotros, voy, vuestra, vuestras, vuestro, vuestros, w, x, y, ya, yo, z, él, éramos, ésa, ésas, ése, ésos, ésta, éstas, éste, éstos, última, últimas, último, últimos]

Herramientas REGEX (expresiones regulares) A regular expression (shortened as regex or regexp;[1] also referred to as rational expression[2][3]) is a sequence of characters that define a search pattern. Usually such patterns are used by string-searching algorithms for "find" or "find and replace" operations on strings, or for input validation. It is a technique developed in theoretical computer science and formal language theory.

https://regexr.com/

CONCEPTO MUY RELEVANTE

Distant reading Franco Moretti. Center for the Study of the Novel and the Literary Lab. Stanford University.

1- identificar patrones recurrentes y desarrollos históricos a gran escala.

2- no solo centrarse en grandes autores, abrir el canon e incluir también obras de literatura en gran medida olvidadas.

3- pasar de erudicción literaria tradicional subjetiva, a una mayor objetividad analítica.

Libro - LibrerĂ­a

NLTK Natural Language ToolKit

Natural Language Processing with Python Analyzing Text with the Natural Language Toolkit https://www.nltk.org/book/

Libro

R Text Analysis with R for Students of Literature. Matthew L. Jockers. http://www.matthewjockers.net/text-anal ysis-with-r-for-students-of-literature/

Libro

Processing

Processing no es la mejor herramienta Pero empecemos por allĂ­...