Anรกlisis de Texto
Dibujo con texto de la constituciรณn Ricardo Vega
natural language processing
Ricardo Vega - ricardov.cl - @ricardov_cl 2020 v1 (2020) | Creative Commons - Attribution-NonCommercial-NoDerivatives 4.0 International
NLP Natural Language Processing Procesamiento de Lenguaje Natural
Lenguajes Naturales
Lenguajes Artificiales
Español
Java
Inglés
Python
Chino
HTML
NLP Natural Language Processing Procesamiento de Lenguaje Natural TEXT ANALYSIS
TÉCNICAS
Lingüística Computacional
Frecuencia de palabras (bolsa de palabras)
Análisis literario (patrones en diálogos)
Distancia léxica (distribución de palabras)
Análisis predictivo (tendencias)
Reconocimiento de entidades (Named-entity recognition) Topic modeling (temas y subtemas) Análisis de sentimiento (positivo o negativo) Red de palabras (relaciones entre palabras) Estilometría (estilo, autoría) Generación de texto
Ciencia de datos - Data Science Convergencia de 3 áreas Computación Programación
Estadística Matemáticas
Conocimiento de Dominio
Conocimiento de Dominio
Computación
Estadística
Experiencias Conceptos Problemas Objetivos Métodos ...
Entornos Lenguajes Algoritmos Tecnologías Soportes Medios Procesos ...
Descriptiva/Inferencial Análisis Tipo de datos EDA Estadísticos principales ...
Proceso
Pregunta
Datos
AnĂĄlisis Exploratorio de Datos
Comunicar
QuĂŠ nos interesa descubrir o explorar ...
Adquirir, limpiar, preparar Corpus, bolsa de palabras, Document-Term Matrix ...
Describir, analizar, visualizar ...
Compartir conclusiones, descubrimientos ...
Proceso
Pregunta
Datos
Análisis Exploratorio de Datos
Comunicar
Qué nos interesa descubrir o explorar ...
Adquirir, limpiar, preparar Corpus, bolsa de palabras, Document-Term Matrix ...
Describir, analizar, visualizar ...
Compartir conclusiones, descubrimientos ...
Importar texto limpiar eliminar puntuación stopwords split join tokenizar encontrar comparar (match) word count sort visualizar string join etc
Proceso Limpiar eliminar, puntuación, stopwords
caracteres invisibles: \t (tabulador) \n (salto de línea)
Volver a los diecisiete después de vivir un siglo
Volver a los diecisiete\n \tdespués de vivir un siglo\n
volver diecisiete después vivir un siglo como descifrar signos
es como descifrar signos
es como descifrar signos\n
sin ser sabio competente
sin ser sabio competente.
sin ser sabio competente.\n
volver ser repente tan frágil
Volver a ser de repente
Volver a ser de repente\n
segundo volver sentir
tan frágil como un segundo,
tan frágil como un segundo,\n
profundo como niño frente
volver a sentir profundo
volver a sentir profundo\n
dios siento yo instante
como un niño frente a Dios,
como un niño frente a Dios,\n
fecundo
eso es lo que siento yo
eso es lo que siento yo\n
en este instante fecundo.
en este instante fecundo.\n
original
a eliminar
bolsa de palabras (bag of words)
Proceso Limpiar eliminar, puntuación, stopwords palabras_vacias_b = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, _, a, actualmente, acuerdo, adelante, ademas, además, adrede, afirmó, agregó, ahi, ahora, ahí, al, algo, alguna, algunas, alguno, algunos, algún, alli, allí, alrededor, ambos, ampleamos, antano, antaño, ante, anterior, antes, apenas, aproximadamente, aquel, aquella, aquellas, aquello, aquellos, aqui, aquél, aquélla, aquéllas, aquéllos, aquí, arriba, arribaabajo, aseguró, asi, así, atras, aun, aunque, ayer, añadió, aún, b, bajo, bastante, bien, breve, buen, buena, buenas, bueno, buenos, c, cada, casi, cerca, cierta, ciertas, cierto, ciertos, cinco, claro, comentó, como, con, conmigo, conocer, conseguimos, conseguir, considera, consideró, consigo, consigue, consiguen, consigues, contigo, contra, cosas, creo, cual, cuales, cualquier, cuando, cuanta, cuantas, cuanto, cuantos, cuatro, cuenta, cuál, cuáles, cuándo, cuánta, cuántas, cuánto, cuántos, cómo, d, da, dado, dan, dar, de, debajo, debe, deben, debido, decir, dejó, del, delante, demasiado, demás, dentro, deprisa, desde, despacio, despues, después, detras, detrás, dia, dias, dice, dicen, dicho, dieron, diferente, diferentes, dijeron, dijo, dio, donde, dos, durante, día, días, dónde, e, ejemplo, el, ella, ellas, ello, ellos, embargo, empleais, emplean, emplear, empleas, empleo, en, encima, encuentra, enfrente, enseguida, entonces, entre, era, erais, eramos, eran, eras, eres, es, esa, esas, ese, eso, esos, esta, estaba, estabais, estaban, estabas, estad, estada, estadas, estado, estados, estais, estamos, estan, estando, estar, estaremos, estará, estarán, estarás, estaré, estaréis, estaría, estaríais, estaríamos, estarían, estarías, estas, este, estemos, esto, estos, estoy, estuve, estuviera, estuvierais, estuvieran, estuvieras, estuvieron, estuviese, estuvieseis, estuviesen, estuvieses, estuvimos, estuviste, estuvisteis, estuviéramos, estuviésemos, estuvo, está, estábamos, estáis, están, estás, esté, estéis, estén, estés, ex, excepto, existe, existen, explicó, expresó, f, fin, final, fue, fuera, fuerais, fueran, fueras, fueron, fuese, fueseis, fuesen, fueses, fui, fuimos, fuiste, fuisteis, fuéramos, fuésemos, g, general, gran, grandes, gueno, h, ha, haber, habia, habida, habidas, habido, habidos, habiendo, habla, hablan, habremos, habrá, habrán, habrás, habré, habréis, habría, habríais, habríamos, habrían, habrías, habéis, había, habíais, habíamos, habían, habías, hace, haceis, hacemos, hacen, hacer, hacerlo, haces, hacia, haciendo, hago, han, has, hasta, hay, haya, hayamos, hayan, hayas, hayáis, he, hecho, hemos, hicieron, hizo, horas, hoy, hube, hubiera, hubierais, hubieran, hubieras, hubieron, hubiese, hubieseis, hubiesen, hubieses, hubimos, hubiste, hubisteis, hubiéramos, hubiésemos, hubo, i, igual, incluso, indicó, informo, informó, intenta, intentais, intentamos, intentan, intentar, intentas, intento, ir, j, junto, k, l, la, lado, largo, las, le, lejos, les, llegó, lleva, llevar, lo, los, luego, lugar, m, mal, manera, manifestó, mas, mayor, me, mediante, medio, mejor, mencionó, menos, menudo, mi, mia, mias, mientras, mio, mios, mis, misma, mismas, mismo, mismos, modo, momento, mucha, muchas, mucho, muchos, muy, más, mí, mía, mías, mío, míos, n, nada, nadie, ni, ninguna, ningunas, ninguno, ningunos, ningún, no, nos, nosotras, nosotros, nuestra, nuestras, nuestro, nuestros, nueva, nuevas, nuevo, nuevos, nunca, o, ocho, os, otra, otras, otro, otros, p, pais, para, parece, parte, partir, pasada, pasado, paìs, peor, pero, pesar, poca, pocas, poco, pocos, podeis, podemos, poder, podria, podriais, podriamos, podrian, podrias, podrá, podrán, podría, podrían, poner, por, por qué, porque, posible, primer, primera, primero, primeros, principalmente, pronto, propia, propias, propio, propios, proximo, próximo, próximos, pudo, pueda, puede, pueden, puedo, pues, q, qeu, que, quedó, queremos, quien, quienes, quiere, quiza, quizas, quizá, quizás, quién, quiénes, qué, r, raras, realizado, realizar, realizó, repente, respecto, s, sabe, sabeis, sabemos, saben, saber, sabes, sal, salvo, se, sea, seamos, sean, seas, segun, segunda, segundo, según, seis, ser, sera, seremos, será, serán, serás, seré, seréis, sería, seríais, seríamos, serían, serías, seáis, señaló, si, sido, siempre, siendo, siete, sigue, siguiente, sin, sino, sobre, sois, sola, solamente, solas, solo, solos, somos, son, soy, soyos, su, supuesto, sus, suya, suyas, suyo, suyos, sé, sí, sólo, t, tal, tambien, también, tampoco, tan, tanto, tarde, te, temprano, tendremos, tendrá, tendrán, tendrás, tendré, tendréis, tendría, tendríais, tendríamos, tendrían, tendrías, tened, teneis, tenemos, tener, tenga, tengamos, tengan, tengas, tengo, tengáis, tenida, tenidas, tenido, tenidos, teniendo, tenéis, tenía, teníais, teníamos, tenían, tenías, tercera, ti, tiempo, tiene, tienen, tienes, toda, todas, todavia, todavía, todo, todos, total, trabaja, trabajais, trabajamos, trabajan, trabajar, trabajas, trabajo, tras, trata, través, tres, tu, tus, tuve, tuviera, tuvierais, tuvieran, tuvieras, tuvieron, tuviese, tuvieseis, tuviesen, tuvieses, tuvimos, tuviste, tuvisteis, tuviéramos, tuviésemos, tuvo, tuya, tuyas, tuyo, tuyos, tú, u, ultimo, un, una, unas, uno, unos, usa, usais, usamos, usan, usar, usas, uso, usted, ustedes, v, va, vais, valor, vamos, van, varias, varios, vaya, veces, ver, verdad, verdadera, verdadero, vez, vosotras, vosotros, voy, vuestra, vuestras, vuestro, vuestros, w, x, y, ya, yo, z, él, éramos, ésa, ésas, ése, ésos, ésta, éstas, éste, éstos, última, últimas, último, últimos]
Herramientas REGEX (expresiones regulares) A regular expression (shortened as regex or regexp;[1] also referred to as rational expression[2][3]) is a sequence of characters that define a search pattern. Usually such patterns are used by string-searching algorithms for "find" or "find and replace" operations on strings, or for input validation. It is a technique developed in theoretical computer science and formal language theory.
https://regexr.com/
CONCEPTO MUY RELEVANTE
Distant reading Franco Moretti. Center for the Study of the Novel and the Literary Lab. Stanford University. 1- identificar patrones recurrentes y desarrollos históricos a gran escala. 2- no solo centrarse en grandes autores, abrir el canon e incluir también obras de literatura en gran medida olvidadas. 3- pasar de erudicción literaria tradicional subjetiva, a una mayor objetividad analítica.
Libro - LibrerĂa
NLTK Natural Language ToolKit
Natural Language Processing with Python Analyzing Text with the Natural Language Toolkit https://www.nltk.org/book/
Libro
R Text Analysis with R for Students of Literature. Matthew L. Jockers. http://www.matthewjockers.net/text-anal ysis-with-r-for-students-of-literature/
Libro
Processing
Processing no es la mejor herramienta Pero empecemos por allĂ...