Separadores y tokens en JAVA

Separadores y tokens

En la mayoría de los lenguajes, los elementos que se consideran como separadores son los siguientes:

Espacio en blanco. El espacio en blanco es un carácter más del alfabeto del lenguaje.
Return. El carácter de cambio de línea, o enter, o intro o new line, o return (todos esos nombres recibe) se usa con el mismo significado que el espacio en blanco.
Tabulador. Al igual que return, se trata de otro posible separador equivalente al espacio en blanco.

Comentario. Un comentario cumple asímismo las funciones de separador. Los comentarios tienen la función de documentación del código fuente, pero desde el punto de vista léxico del lenguaje, no son más que separadores.

Cada una de las "palabras" que reconoce el compilador recibe en programación el nombre de token.

Palabras reservadas. Son aquellos tokens que tienen asignada una función específica en el lenguaje y que los programadores no pueden utilizar más que para lo que el lenguaje establece.
Literales. Son valores concretos para un tipo de datos básico del lenguaje.
Identificadores. Todos los elementos que yo defina en mi programa (variables, constantes, clases, métodos o procedimientos, etc.) deberé nombrarlos para poder referirme a ellos. A ese nombre, que justamente me permite identificar y referirme a cada uno de esos elementos de forma inequívoca, es a lo que llamamos identificador.
Operadores. Son tokens especiales, porque actúan de separadores, manteniéndose a sí mismos como tokens, con significado propio.

Ejemplo:

int numero = 38

Int
Es una palabra reservada, que se usa para declarar variables de ese tipo entero.

Numero
Es un identificador. El nombre elegido por el programador para la variable.

=
Es el operador de asignación. Asigna a la variable de la izquierda el resultado de evaluar la expresión de la derecha. En este caso, la expresión de la derecha es directamente el valor a asignar.

38
Es un literal del tipo int. Un valor concreto de entre los muchos que incluye el rango de los números enteros de tipo int.