31.5. token — Python 解析木と共に使われる定数 — Python 2.7ja1 documentation

### ナビゲーション

- 索引
- モジュール |
- 次へ |
- 前へ |
- Python 2.7ja1 documentation »
- Python 標準ライブラリ »
- 31. Python言語サービス »

# 31.5. `token` — Python 解析木と共に使われる定数

このモジュールは解析木の葉ノード(終端記号)の数値を表す定数を提供します。言語の文法のコンテキストにおける名前の定義については、 Python ディストリビューションのファイル `Grammar/Grammar` を参照してください。名前がマップする特定の数値は Python のバージョン間で変わります。

このモジュールは、数値コードから名前へのマッピングと、いくつかの関数も提供しています。関数は Python の C ヘッダファイルの定義を反映します。

`token.` `tok_name`

  辞書はこのモジュールで定義されている定数の数値を名前の文字列へマップし、より人が読みやすいように解析木を表現します。

`token.` `ISTERMINAL`(x)

  終端トークンの値に対して真を返します。

`token.` `ISNONTERMINAL`(x)

  非終端トークンの値に対して真を返します。

`token.` `ISEOF`(x)

  x が入力の終わりを示すマーカーならば、真を返します。

token の定数一覧:

`token.` `ENDMARKER`
`token.` `NAME`
`token.` `NUMBER`
`token.` `STRING`
`token.` `NEWLINE`
`token.` `INDENT`
`token.` `DEDENT`
`token.` `LPAR`
`token.` `RPAR`
`token.` `LSQB`
`token.` `RSQB`
`token.` `COLON`
`token.` `COMMA`
`token.` `SEMI`
`token.` `PLUS`
`token.` `MINUS`
`token.` `STAR`
`token.` `SLASH`
`token.` `VBAR`
`token.` `AMPER`
`token.` `LESS`
`token.` `GREATER`
`token.` `EQUAL`
`token.` `DOT`
`token.` `PERCENT`
`token.` `BACKQUOTE`
`token.` `LBRACE`
`token.` `RBRACE`
`token.` `EQEQUAL`
`token.` `NOTEQUAL`
`token.` `LESSEQUAL`
`token.` `GREATEREQUAL`
`token.` `TILDE`
`token.` `CIRCUMFLEX`
`token.` `LEFTSHIFT`
`token.` `RIGHTSHIFT`
`token.` `DOUBLESTAR`
`token.` `PLUSEQUAL`
`token.` `MINEQUAL`
`token.` `STAREQUAL`
`token.` `SLASHEQUAL`
`token.` `PERCENTEQUAL`
`token.` `AMPEREQUAL`
`token.` `VBAREQUAL`
`token.` `CIRCUMFLEXEQUAL`
`token.` `LEFTSHIFTEQUAL`
`token.` `RIGHTSHIFTEQUAL`
`token.` `DOUBLESTAREQUAL`
`token.` `DOUBLESLASH`
`token.` `DOUBLESLASHEQUAL`
`token.` `AT`
`token.` `OP`
`token.` `ERRORTOKEN`
`token.` `N_TOKENS`
`token.` `NT_OFFSET`

参考

`parser` モジュール
  `parser` モジュールの二番目の例で、 `symbol` モジュールの使い方を示しています。

### ナビゲーション

- 索引
- モジュール |
- 次へ |
- 前へ |
- Python 2.7ja1 documentation »
- Python 標準ライブラリ »
- 31. Python言語サービス »