マニュアルのCOPYの構文を見ると、ファイル名は '' でくくられており、間違いだとは思えません。
以下、PostgreSQL 11.5のマニュアルから抜粋です。

COPY table_name [ ( column_name [, ...] ) ]
    FROM { 'filename' | PROGRAM 'command' | STDIN }
    [ [ WITH ] ( option [, ...] ) ]

COPY { table_name [ ( column_name [, ...] ) ] | ( query ) }
    TO { 'filename' | PROGRAM 'command' | STDOUT }
    [ [ WITH ] ( option [, ...] ) ]


ここでoptionは以下のいずれかです。

    FORMAT format_name
    OIDS [ boolean ]
    FREEZE [ boolean ]
    DELIMITER 'delimiter_character'
    NULL 'null_string'
    HEADER [ boolean ]
    QUOTE 'quote_character'
    ESCAPE 'escape_character'
    FORCE_QUOTE { ( column_name [, ...] ) | * }
    FORCE_NOT_NULL ( column_name [, ...] )
    FORCE_NULL ( column_name [, ...] )
    ENCODING 'encoding_name'

"delimiter as" の書き方は互換性の項目に「9.0より前に使用されていた」として書かれていますが11.5の正式な構文にはないため、どちらかと言えば「\copy sample to sample.txt delimiter as ','」の選択肢を誤りにすべきではないでしょうか。