Gecko [ nxtxgen.com ]

Name	Size	Permission
context	[ DIR ]	drwxr-xr-x
generator	[ DIR ]	drwxr-xr-x
markdown	[ DIR ]	drwxr-xr-x
markup	[ DIR ]	drwxr-xr-x
parser	[ DIR ]	drwxr-xr-x
rd	[ DIR ]	drwxr-xr-x
ri	[ DIR ]	drwxr-xr-x
stats	[ DIR ]	drwxr-xr-x
alias.rb	2.09 KB	-rw-r--r--
anon_class.rb	142 B	-rw-r--r--
any_method.rb	6.82 KB	-rw-r--r--
attr.rb	3.73 KB	-rw-r--r--
class_module.rb	19.73 KB	-rw-r--r--
code_object.rb	9.38 KB	-rw-r--r--
code_objects.rb	121 B	-rw-r--r--
comment.rb	5.29 KB	-rw-r--r--
constant.rb	3.55 KB	-rw-r--r--
context.rb	28.76 KB	-rw-r--r--
cross_reference.rb	5.82 KB	-rw-r--r--
encoding.rb	2.74 KB	-rw-r--r--
erb_partial.rb	370 B	-rw-r--r--
erbio.rb	794 B	-rw-r--r--
extend.rb	140 B	-rw-r--r--
generator.rb	1.72 KB	-rw-r--r--
ghost_method.rb	114 B	-rw-r--r--
include.rb	142 B	-rw-r--r--
known_classes.rb	2.63 KB	-rw-r--r--
markdown.rb	370.01 KB	-rw-r--r--
markup.rb	28.22 KB	-rw-r--r--
meta_method.rb	99 B	-rw-r--r--
method_attr.rb	8.78 KB	-rw-r--r--
mixin.rb	2.72 KB	-rw-r--r--
normal_class.rb	2.1 KB	-rw-r--r--
normal_module.rb	1.4 KB	-rw-r--r--
options.rb	29.7 KB	-rw-r--r--
parser.rb	8.06 KB	-rw-r--r--
rd.rb	3.54 KB	-rw-r--r--
rdoc.rb	13.4 KB	-rw-r--r--
require.rb	935 B	-rw-r--r--
ri.rb	315 B	-rw-r--r--
ruby_lex.rb	27.71 KB	-rw-r--r--
ruby_token.rb	11.28 KB	-rw-r--r--
rubygems_hook.rb	5.17 KB	-rw-r--r--
servlet.rb	11.84 KB	-rw-r--r--
single_class.rb	330 B	-rw-r--r--
stats.rb	10.37 KB	-rw-r--r--
store.rb	22.37 KB	-rw-r--r--
task.rb	7.66 KB	-rw-r--r--
test_case.rb	4.14 KB	-rw-r--r--
text.rb	7.6 KB	-rw-r--r--
token_stream.rb	2.46 KB	-rw-r--r--
tom_doc.rb	6.26 KB	-rw-r--r--
top_level.rb	5.41 KB	-rw-r--r--

Name

Size

Permission

Action

context

[ DIR ]

drwxr-xr-x

generator

[ DIR ]

drwxr-xr-x

markdown

[ DIR ]

drwxr-xr-x

markup

[ DIR ]

drwxr-xr-x

parser

[ DIR ]

drwxr-xr-x

[ DIR ]

drwxr-xr-x

[ DIR ]

drwxr-xr-x

stats

[ DIR ]

drwxr-xr-x

alias.rb

2.09 KB

-rw-r--r--

anon_class.rb

142 B

-rw-r--r--

any_method.rb

6.82 KB

-rw-r--r--

attr.rb

3.73 KB

-rw-r--r--

class_module.rb

19.73 KB

-rw-r--r--

code_object.rb

9.38 KB

-rw-r--r--

code_objects.rb

121 B

-rw-r--r--

comment.rb

5.29 KB

-rw-r--r--

constant.rb

3.55 KB

-rw-r--r--

context.rb

28.76 KB

-rw-r--r--

cross_reference.rb

5.82 KB

-rw-r--r--

encoding.rb

2.74 KB

-rw-r--r--

erb_partial.rb

370 B

-rw-r--r--

erbio.rb

794 B

-rw-r--r--

extend.rb

140 B

-rw-r--r--

generator.rb

1.72 KB

-rw-r--r--

ghost_method.rb

114 B

-rw-r--r--

include.rb

142 B

-rw-r--r--

known_classes.rb

2.63 KB

-rw-r--r--

markdown.rb

370.01 KB

-rw-r--r--

markup.rb

28.22 KB

-rw-r--r--

meta_method.rb

99 B

-rw-r--r--

method_attr.rb

8.78 KB

-rw-r--r--

mixin.rb

2.72 KB

-rw-r--r--

normal_class.rb

2.1 KB

-rw-r--r--

normal_module.rb

1.4 KB

-rw-r--r--

options.rb

29.7 KB

-rw-r--r--

parser.rb

8.06 KB

-rw-r--r--

rd.rb

3.54 KB

-rw-r--r--

rdoc.rb

13.4 KB

-rw-r--r--

require.rb

935 B

-rw-r--r--

ri.rb

315 B

-rw-r--r--

ruby_lex.rb

27.71 KB

-rw-r--r--

ruby_token.rb

11.28 KB

-rw-r--r--

rubygems_hook.rb

5.17 KB

-rw-r--r--

servlet.rb

11.84 KB

-rw-r--r--

single_class.rb

330 B

-rw-r--r--

stats.rb

10.37 KB

-rw-r--r--

store.rb

22.37 KB

-rw-r--r--

task.rb

7.66 KB

-rw-r--r--

test_case.rb

4.14 KB

-rw-r--r--

text.rb

7.6 KB

-rw-r--r--

token_stream.rb

2.46 KB

-rw-r--r--

tom_doc.rb

6.26 KB

-rw-r--r--

top_level.rb

5.41 KB

-rw-r--r--

Code Editor : token_stream.rb

##
# A TokenStream is a list of tokens, gathered during the parse of some entity
# (say a method). Entities populate these streams by being registered with the
# lexer. Any class can collect tokens by including TokenStream. From the
# outside, you use such an object by calling the start_collecting_tokens
# method, followed by calls to add_token and pop_token.

module RDoc::TokenStream

##
  # Converts +token_stream+ to HTML wrapping various tokens with
  # <tt><span></tt> elements.  The following tokens types are wrapped in spans
  # with the given class names:
  #
  # TkCONSTANT :: 'ruby-constant'
  # TkKW       :: 'ruby-keyword'
  # TkIVAR     :: 'ruby-ivar'
  # TkOp       :: 'ruby-operator'
  # TkId       :: 'ruby-identifier'
  # TkNode     :: 'ruby-node'
  # TkCOMMENT  :: 'ruby-comment'
  # TkREGEXP   :: 'ruby-regexp'
  # TkSTRING   :: 'ruby-string'
  # TkVal      :: 'ruby-value'
  #
  # Other token types are not wrapped in spans.

def self.to_html token_stream
    token_stream.map do |t|
      next unless t

style = case t
              when RDoc::RubyToken::TkCONSTANT then 'ruby-constant'
              when RDoc::RubyToken::TkKW       then 'ruby-keyword'
              when RDoc::RubyToken::TkIVAR     then 'ruby-ivar'
              when RDoc::RubyToken::TkOp       then 'ruby-operator'
              when RDoc::RubyToken::TkId       then 'ruby-identifier'
              when RDoc::RubyToken::TkNode     then 'ruby-node'
              when RDoc::RubyToken::TkCOMMENT  then 'ruby-comment'
              when RDoc::RubyToken::TkREGEXP   then 'ruby-regexp'
              when RDoc::RubyToken::TkSTRING   then 'ruby-string'
              when RDoc::RubyToken::TkVal      then 'ruby-value'
              end

text = CGI.escapeHTML t.text

if style then
        "<span class=\"#{style}\">#{text}</span>"
      else
        text
      end
    end.join
  end

##
  # Adds +tokens+ to the collected tokens

def add_tokens(*tokens)
    tokens.flatten.each { |token| @token_stream << token }
  end

alias add_token add_tokens

##
  # Starts collecting tokens

def collect_tokens
    @token_stream = []
  end

alias start_collecting_tokens collect_tokens

##
  # Remove the last token from the collected tokens

def pop_token
    @token_stream.pop
  end

##
  # Current token stream

def token_stream
    @token_stream
  end

##
  # Returns a string representation of the token stream

def tokens_to_s
    token_stream.map { |token| token.text }.join ''
  end

end

${this.title}

Code Editor : token_stream.rb