lexical analyser的用法和樣例：
例句
- The scanner is sometimes called a lexical analyzer.
掃描程序有時(shí)又把它稱(chēng)為詞法分析程序。 - At the same time, the untagged corpus is used, where all the lexical items are tagged with all the possible part-of-speech tags.
同時(shí)，使用未進(jìn)行詞類(lèi)加標的語(yǔ)料庫，其中所有詞匯項已被標注具有所有可能的詞法分析，評價(jià)由存在歧義的上下文所獲取的約束，來(lái)消除其它的詞法分析歧義。
