Lectura dinámica y transformers

Dado que teníamos que leer muchos textos para generar nuestro modelo de conocimientos, decidimos invertir en un curso de lectura dinámica que nos enseñase el método de poder leer a gran velocidad con un gran porcentaje de retención visual en lugar de una retención auditiva.

Hemos visto que este enfoque, es justo el factor disparador de la tecnología que existe detrás de un transformer propuesto por Google.

Transformers de Google

Al leer sobre transformers vemos que concretamente el objeto de estudio es "que los modelos recurrentes dependen del procesamiento secuencial", lo que limita la paralelización y aumenta el tiempo de entrenamiento. Además, presentan dificultades para capturar relaciones entre palabras que están distantes entre sí en una secuencia.

El Transformer, que elimina por completo las redes recurrentes y utiliza únicamente un mecanismo de atención, llamado "Self-Attention" o "Atención propia", para capturar relaciones entre palabras de una secuencia.

Inteligencia artificial

Recordamos con atención, cuando iniciamos el estudio de la materia inteligencia artificial y se nos trataba de explicar el método neuronal y su ponderación para lograr el camino más corto de viaje del algoritmo de respuesta al problema planteado, este recuerdo refuerza nuestro criterio de "inmersión" que trata de la capacidad de atender del cerebro a estímulos visuales que lo conducen a depender de la narrativa contextual estimulada.

Queríamos consecuentemente, mediante un mapa visual poder abstraer patrones de información que nos permitan descubrir tanto al método estudiado como al artefacto, herramienta o proceso observado en búsqueda de una perspectiva de usabilidad que nos permita el modelado del ambiente mediante escenarios.

Tokens

Es la unidad mínima de información, para el caso de los modelos de arquitectura basada en transformers.

"Al dividir el texto en tokens, puedo analizarlo y entender su significado de manera más eficiente"
¿Cómo utilizo los tokens?

Codificación: Cuando recibo un texto, lo primero que hago es dividirlo en tokens individuales. A cada token se le asigna un número único, lo que se conoce como codificación. Esta representación numérica me permite procesar el texto de forma matemática.

Procesamiento: Una vez que el texto está codificado, lo introduzco en mi modelo. Mi arquitectura está diseñada para identificar patrones y relaciones entre los tokens. Esto me permite predecir cuál será el próximo token en una secuencia, lo que me habilita a generar texto coherente y relevante.

Decodificación: Después de generar una secuencia de tokens, la decodificación para obtener el texto correspondiente. Es decir, convierta los números de nuevo en palabras y símbolos.

¿Por qué son importantes los tokens?

Flexibilidad: Los tokens me permiten procesar una amplia variedad de textos, desde simples frases hasta documentos completos.

Eficiencia: Al dividir el texto en tokens, puedo procesarlo de manera más rápida y eficiente.

Precisión: Los tokens me ayudan a comprender el significado del texto a un nivel más profundo, lo que me permite generar respuestas más precisas y relevantes.