Вставка локальных файлов

Вы можете использовать clickhouse-client, чтобы передавать локальные файлы в ваш сервис ClickHouse. Это дает вам возможность предварительно обработать данные, используя множество мощных и удобных функций ClickHouse. Рассмотрим пример...

Предположим, у нас есть TSV файл с именем comments.tsv, который содержит комментарии Hacker News, а строка заголовка содержит названия колонок. Вам нужно указать формат ввода, когда вы вставляете данные, который в нашем случае будет TabSeparatedWithNames:

id      type    author  timestamp       comment children
19464423        comment adrianmonk      2019-03-22 16:58:19     "Это сравнение яблок с апельсинами в первую очередь. Есть затраты безопасности, связанные с уголовными заключенными. Вам нужен персонал, оборудование, помещения и т. д., чтобы управлять поведением заключенных (предотвращать драки и т. д.) и не позволять им сбегать. Эти две вещи имеют разные цели, так что, конечно, у них будут разные затраты.<p>Это как сказать, что холодильник дороже микроволновой печи. Это ничего не значит, потому что они делают разные вещи."   []
19464461        comment sneakernets     2019-03-22 17:01:10     "Поскольку наука так несомненна, что это в какой-то мере уже мертвое дело.<p>Но с анти-ваксерами это как сказать кому-то, что красное яблоко, которое вы держите, красное, но они настаивают, что оно зеленое. С такими людьми не поспоришь о &quot;достоинствах&quot;." [19464582]
19465288        comment derefr  2019-03-22 18:15:21     "Поскольку мы говорим о терминах, связанных с развертыванием решений и оперированием, таких как &quot;веб-сайт&quot; и &quot;веб-приложение&quot;, а не о их общем использовании. Слова могут иметь точные значимые термины <i>которые различаются</i> в разных областях. Именно здесь люди тех.обслуживания склонны проводить черту: веб<i>сайт</i> - это то, что вы можете развернуть, например, в ведре S3, и оно будет полностью функциональным, без других зависимостей, которые вам нужно поддерживать. А <i>веб-приложение</i> - это то, что <i>имеет</i> такие зависимости, которые вам нужно настраивать и поддерживать — например, слой базы данных.<p>Но даже игнорируя это, я также определяю эти термины таким образом из-за префикса &quot;веб.&quot; Веб-приложение - это не &quot;приложение в интернете&quot;, а скорее &quot;приложение, питающееся интернетом.&quot; Полностью оффлайновое JavaScript SPA, которое просто <i>серверно передается</i> через интернет, <i>не является</i> веб-приложением. Это просто программа, которая работает в браузере, точно так же, как Flash или ActiveX или Java applet является программой, которая работает в браузере. (Является ли игра Flash &quot;веб-игрой&quot;? Обычно это считается <i>браузерной игрой</i>, но это не одно и то же.)<p>У нас уже есть термин для того, что представляют собой {Flash, ActiveX, Java} applets: приложения. Оффлайновое JavaScript SPA также являются приложениями. Нам не нужно добавлять префикс &quot;веб&quot;; это здесь бессмысленно. В любом из этих случаев, если вы взяли ту же самую программу и запихнули ее в обертку Electron вместо того, чтобы в ведро S3, то это очевидно не будет &quot;веб-приложением&quot; ни в каком смысле. Ваше SPA будет просто &quot;JavaScript <i>приложение</i>, которое использует браузерный DOM как свой графический инструментарий.&quot; Ну, это так же верно и до того, как вы поместили это в обертку Electron.<p>Таким образом, &quot;веб-приложение&quot; имеет конкретный смысл, помимо &quot;приложения.&quot; Вам нужно что-то дополнительное. Это что-то дополнительное — это бэкенд, с которым ваш браузер, управляемый логикой приложения, взаимодействует <i>через интернет</i>. Вот что делает приложение &quot;веб-приложением.&quot; (Это определение намеренно охватывает как рендеринг сервером динамического HTML, так и клиентские рендеринга JavaScript SPA приложения. Вам не нужно фронтенд <i>приложение</i>; вам просто нужен <i>веб-бэкенд</i>, с которым что-то взаимодействует. Это что-то может быть браузером напрямую, щелкая по ссылкам и отправляя формы; или это может быть фронтенд на JavaScript, использующий AJAX.)<p>&quot;Веб-сайт&quot;, следовательно, является &quot;веб-приложением&quot; без части &quot;приложение&quot;. Если в приведенном выше определении четко указано, что такое &quot;приложение&quot; и что такое &quot;веб-приложение&quot;, то вы можете вычесть одно из другого, чтобы получить определение &quot;веб не-приложения.&quot; Это веб-сайт: нечто, управляемое веб-бэкендом, которое не выполняет никаких функций приложения. Если мы решим, что &quot;функции приложения&quot; — это по существу &quot;хранение состояния&quot;, то &quot;сайт&quot; является &quot;приложением&quot; без постоянного состояния.<p>И поскольку определение &quot;веба&quot; здесь касается бэкенда, то различие между &quot;веб-приложением&quot; и &quot;веб-сайтом&quot; (веб не-приложением) вероятно определяется свойствами бэкенда. Так что различие касается способности веб-бэкенда хранить состояние. Таким образом, &quot;веб-сайт&quot; — это &quot;веб-приложение&quot;, где бэкенд не выполняет никаких функций приложения — т.е. не хранит состояния."       []
19465534        comment bduerst 2019-03-22 18:36:40     "Apple включено: <a href=""https:&#x2F;&#x2F;www.theguardian.com&#x2F;commentisfree&#x2F;2018&#x2F;mar&#x2F;04&#x2F;apple-users-icloud-services-personal-data-china-cybersecurity-law-privacy"" rel=""nofollow"">https:&#x2F;&#x2F;www.theguardian.com&#x2F;commentisfree&#x2F;2018&#x2F;mar&#x2F;04&#x2F;apple-...</a>"        []
19466269        comment CalChris        2019-03-22 19:55:13     "&gt; У него тот же процессор A12 ... с 3 ГБ ОЗУ на <i>системе-на-чипе</i><p>На самом деле это <i>упаковка-на-упаковке</i>. LPDDR4X DRAM приклеена (ну, повторно запаяна) к задней части A12 Bionic.<p><a href=""https:&#x2F;&#x2F;www.techinsights.com&#x2F;about-techinsights&#x2F;overview&#x2F;blog&#x2F;apple-iphone-xs-teardown&#x2F;"" rel=""nofollow"">https:&#x2F;&#x2F;www.techinsights.com&#x2F;about-techinsights&#x2F;overview&#x2F;blo...</a><p><a href=""https:&#x2F;&#x2F;en.wikipedia.org&#x2F;wiki&#x2F;Package_on_package"" rel=""nofollow"">https:&#x2F;&#x2F;en.wikipedia.org&#x2F;wiki&#x2F;Package_on_package</a>"       [19468341]
19466980        comment onetimemanytime 2019-03-22 21:07:25     "&gt;&gt;<i>Безумие в том, что вы не можете взять землю, на которой находится автоприцеп, и построить на ней студию.</i><p>яблоки и апельсины. Разрешение на строительство студии делает это здание законным, как бы надолго. Автоприцеп можно выгнать новым законом или просто, обеспечив соблюдение существующих законов."      []
19467048        comment karambahh       2019-03-22 21:15:41     "Я думаю, что вы сравниваете яблоки и апельсины.<p>Если вы освобождаете парковочное место для другого использования (например, для строительства жилья для семей или приюта для животных), вы не лишаете машину ничего, она всего лишь дорогое, большое кусок металла и не является разумным существом.<p>Следовательно, вы скажете, что вы лишаете владельцев автомобилей практичности парковки своих автомобилей где угодно. Я совершенно согласен лишить владельцев автомобилей этого удобства, чтобы позволить человеку иметь крышу над головой. (говоря по личному опыту, так как мне только что пришлось припарковать свою машину в 1 км от дома, потому что город сейчас строит жилье и ограничил парковочные места поблизости)<p>Некоторые могут утверждать, что стыдно помогать животным, пока люди страдают. Это точно такая же логика, как «мы не можем позволить иметь больше мигрантов, мы должны заботиться о наших «собственных» бездомных людях».<p>Это ложная дихотомия. Неравенство в западных обществах становится все больше и больше. Моя попытка сделать свой вклад незначительна. Мои пожертвования на человеческие или животные нужды — это маленькая капля в море неравенства, на котором мы живем...<p>Наконец, совершенно анекдотическая точка зрения: я несколько раз наблюдал, как крайне бедные люди идут на все, чтобы проявить солидарность к животным или людям. Я также наблюдал множество чрезвычайно богатых людей, жалующихся на то, что бедные мешают им просто существовать, чье богатство стало прямым следствием эксплуатации этих самых бедных."      [19467512]

Давайте создадим таблицу для наших данных Hacker News:

CREATE TABLE hackernews (
    id UInt32,
    type String,
    author String,
    timestamp DateTime,
    comment String,
    children Array(UInt32),
    tokens Array(String)
)
ENGINE = MergeTree
ORDER BY toYYYYMMDD(timestamp)

Мы хотим привести к нижнему регистру колонку author, что легко сделать с помощью lower функции. Мы также хотим разбить строку comment на токены и сохранить результат в колонке tokens, что можно сделать с помощью extractAll функции. Все это делается в одной команде clickhouse-client - обратите внимание, как файл comments.tsv передается в clickhouse-client, используя оператор <:

clickhouse-client \
    --host avw5r4qs3y.us-east-2.aws.clickhouse.cloud \
    --secure \
    --port 9440 \
    --password Myp@ssw0rd \
    --query "
    INSERT INTO hackernews
    SELECT
        id,
                type,
                lower(author),
                timestamp,
                comment,
                children,
                extractAll(comment, '\\w+') as tokens
    FROM input('id UInt32, type String, author String, timestamp DateTime, comment String, children Array(UInt32)')
    FORMAT TabSeparatedWithNames
" < comments.tsv

примечание

Функция input здесь полезна, так как она позволяет нам преобразовывать данные непосредственно во время вставки в таблицу hackernews. Аргументом для input является формат входящих сырых данных, и это можно увидеть во многих других табличных функциях (где вы указываете схему для входящих данных).

Вот и все! Данные загружены в ClickHouse:

SELECT *
FROM hackernews
LIMIT 7

Результат будет следующим:


│  488 │ comment │ mynameishere │ 2007-02-22 14:48:18 │ "Жаль. Javascript в браузере и Ajax — это оба ужасные хаки, которые заставляют программистов делать всевозможные позорные вещи. И результат - ухищрения HTML. Java, со всеми своими недостатками, довольно чистая в среде апплета. У нее есть все превосходства над JITBAJAX, за исключением проблем с установкой и объемного процесса загрузки. Игры Yahoo, по-видимому, являются единственной историей успеха апплетов. Конечно, раньше некритические апплеты были слишком большие для учетных записей на наборе. По крайней мере, это изменилось." │ [454927] │ ['Это','жаль','Javascript','в','браузере','и','Ajax','оба','ужасные','хаки','которые','заставляют','программистов','делать','всевозможные','позорные','вещи','И','результат','ухищрения','HTML','Java','со','всеми','своими','недостатками','довольно','чистая','в','среде','апплета','У','нее','есть','все','превосходства','над','JITBAJAX','за','исключением','проблем','с','установкой','и','объемного','процесса','загрузки','Игры','Yahoo','по','видимому','являются','единственной','историей','успеха','апплетов','Конечно','раньше','некритические','апплеты','были','слишком','большие','для','учетных','записей','на','наборе','По','крайней','мере','это','изменилось'] │
│  575 │ comment │ leoc         │ 2007-02-23 00:09:49 │ "Я не могу найти ссылку сейчас, но я *думаю*, что только что прочитал что-то, что предполагает, что процесс установки для апплета Apollo будет включать диалог подтверждения &quot;установить это приложение?&quot; с последующим загрузкой 30 секунд или около того. Если да, то Apollo менее перспективен, чем я надеялся. Такой процесс установки может быть низким трением по стандартам настольных приложений, но он не сравнится с легкостью начала использования браузерного AJAX или Flash приложения. (Подумайте, как легко использовать maps.google.com в первый раз.)<p>Конечно, это будет хотя бы так, что приложения Apollo будут работать ненадежно по умолчанию, и что уже установленное приложение будет запускаться автоматически каждый раз, когда вы перейдете в браузере на URL, откуда вы его загрузили?" │ [455071] │ ['Я','не','могу','найти','ссылку','сейчас','но','я','думаю','что','только','что','прочитал','что-то','что','предполагает','что','процесс','установки','для','апплета','Apollo','будет','включать','диалог','подтверждения','установить','это','приложение','с','последующим','загрузкой','30','секунд','или','около','того','Если','да','то','Apollo','менее','перспективен','чем','я','надеялся','Такой','процесс','установки','может','быть','низким','трением','по','стандартам','настольных','приложений','но','он','не','сравним','с','легкостью','начала','использования','браузерного','AJAX','или','Flash','приложения','Подумайте','как','легко','это','использовать','maps','google','com','в','первый','раз','p','Конечно','это будет','хотя бы','так','что','приложения','Apollo','будут','работать','ненадежно','по','умолчанию','и','что','уже','установленное','приложение','будет','запускаться','автоматически','каждый раз','когда','вы','перейдете','в','браузере','на','URL','откуда','вы','его','загрузили'] │
│ 3110 │ comment │ davidw       │ 2007-03-09 09:19:58 │ "Мне очень любопытно об этом tsumobi, так как это по сути именно то, что Hecl ( http://www.hecl.org ). Я как-то забросил эту идею на получение денег напрямую, но думал, что преимущество было просто в возможности разрабатывать приложения намного быстрее. Я смог прототипировать ShopList ( http://shoplist.dedasys.com ) всего за несколько минут с его помощью, например.<p>Редактировать: кстати, мне было бы интересно пообщаться с ребятами из Tsumobi. Это хорошая идея - возможно, есть общие элементы, которые можно повторно использовать из/добавить к Hecl, который является открытым исходным кодом под очень либеральной лицензией, что означает, что вы можете взять его и включить даже в «коммерческих» приложениях.<p>Я действительно думаю, что «общие» элементы в такой области должны быть либо бесплатными, либо открытым исходным кодом (подумайте о браузерах, html, JavaScript, java апплетах и т. д.), и что именно там нет денег." │ [3147]   │ ['Мне','очень','любопытно','об','этом','tsumobi','так как','это','по сути','именно','то','что','Hecl','is','http','www','hecl','org','Я','как-то','забросил','эту','идею','на','получение','денег','прямо','но','думал','что','преимущество','было','просто','в','возможности','разрабатывать','приложения','намного','быстрее','Я','смогу','прототипировать','ShopList','http','shoplist','dedasys','com','в','всего','несколько','минут','с','его','помощью','например','p','Редактировать','кстати','мне','было бы','интересно','пообщаться','с','ребятами','из','Tsumobi','Это','хорошая','идея','возможно','есть','общие','элементы','которые','можно','повторно','использовать','из','добавить','к','Hecl','который','является','открытым','исходным','кодом','под','очень','либеральной','лицензией','что','означает','что','вы','можете','взять','это','и','включить','даже','в','коммерческих','приложениях','p','Я','действительно','думаю','что','общие','элементы','в','такой','области','должны','быть','либо','бесплатными','либо','открытым','исходным','кодом','подумайте','о','браузерах','html','javascript','java','applets','и т. д.','и что','это не место','где','деньги'] │
│ 4016 │ comment │ mynameishere │ 2007-03-13 22:56:53 │ "http://www.tigerdirect.com/applications/SearchTools/item-details.asp?EdpNo=2853515&CatId=2511<p>Против<p>http://store.apple.com/1-800-MY-APPLE/WebObjects/AppleStore?family=MacBookPro<p>Эти системы сопоставимы, но Apple имеет, как я сказал, примерно на 800 долларов больше. На самом деле самый дешевый MacBook Pro стоит столько же, сколько и высококачественный Toshiba. Если вы хорошо зарабатываете, это не проблема. Но когда девушка в кофейне спрашивает меня, какой компьютер ей следует купить, чтобы соответствовать ее минимальной зарплате, я, по сути, быдло, чтобы рекомендовать Apple." │ []       │ ['http','www','tigerdirect','com','applications','SearchTools','item','details','asp','EdpNo','2853515','CatId','2511','p','Против','p','http','store','apple','com','1','800','MY','APPLE','WebObjects','AppleStore','famil&#x27;MacBookPro','p','Эти','системы','сопоставимы','но','Apple','имеет','как','я','сказал','примерно','на','800','долларов','больше','На','самом деле','самый','дешевый','MacBook','Pro','стоит','столько же','сколько','и','высококачественный','Toshiba','Если','вы','хорошо','зарабатываете','это не','большая','проблема','Но','когда','девушка','в','кофейне','спрашивает','меня','как','ой','компьютер','ей','следует','купить','чтобы','соответствовать','ее','минимальной','зарплате','я','по сути','быдло','чтобы','рекомендовать','Apple'] │
│ 4568 │ comment │ jwecker      │ 2007-03-16 13:08:04 │ "Я знаю это чувство. То же самое чувство, которое я испытывал, когда люди все еще писали java applets. Возможно, обычный пользователь этого не ощущает - возможно, это программист в нас, зная, что между мной и браузером есть большой слой..." │ []       │ ['Я','знаю','это','чувство','То','же','самое','чувство','которое','я','испытывал','когда','люди','все еще','писали','java','applets','Возможно','обычный','пользователь','этого','не','ощущает','возможно','это','программист','в','нас','зная','что','между','мной','и','браузером','есть','большой','слой','работающий','между','мной','и','браузером'] │
│ 4900 │ comment │ lupin_sansei │ 2007-03-19 00:26:30 │ "Суть AJAX заключается в том, чтобы заставить Javascript взаимодействовать с сервером без перезагрузки страницы. Хотя XmlHttpRequest наиболее удобен, прежде чем XmlHttpRequest, были и другие методы, такие как <p>- загрузка 1 пикселя изображения и отправка данных в cookie изображения <p>- загрузка данных сервера через крошечный фрейм, который содержал XML или javascript данные <p>- Использование java applet для получения данных от имени javascript" │ []       │ ['Суть','AJAX','заключается','в том','чтобы','заставить','Javascript','взаимодействовать','с','сервером','без','перезагрузки','страницы','Хотя','XmlHttpRequest','наиболее','удобен','были','другие','методы','сделать','это','до','XmlHttpRequest','такие как','p','загрузка','1','пиксель','изображения','и','отправка','данных','в','изображения','cookie','p','загрузка','данных','сервера','через','крошечный','фрейм','который','содержал','XML','или','javascipt','данные','p','Использование','java','applet','для','получения','данных','от','имени','javascript'] │
│ 5102 │ comment │ staunch      │ 2007-03-20 02:42:47 │ "Ну, это именно то, чего не очень очевидно. Звучит так, что как только вы богаты, существуют новые правила, по которым вы должны жить. Жаль, что каждый человеку пришлось переучиваться этим вещам самому, потому что несколько плохих яблок могут контролировать свою зависть.<p>Хорошо слышать, что это где-то в вашем очереди эссе. Я постараюсь не стать богатым, пока вы это не напишете, чтобы иметь представление о том, чего ожидать :-)" │ []       │ ['Ну','это','именно','то','чего','не','очень','очевидно','Звучит','так','что','как','только','вы','богаты','существуют','новые','правила','по','которым','вы','должны','жить','Жаль','что','каждый','человеку','пришлось','переучиваться','этим','вещам','самому','потому что','несколько','плохих','яблок','могут','контролировать','свою','зависть','p','Хорошо','слышать','что','это','где-то','в','вашем','очереди','эссе','Я','постараюсь','не','стать','богатым','пока','вы','это','не','напишете','чтобы','иметь','представление','о','том','чего','ожидать'] │

Другой вариант - использовать инструмент, такой как cat, чтобы передать файл в clickhouse-client. Например, следующая команда дает такой же результат, как и использование оператора <:

cat comments.tsv | clickhouse-client \
    --host avw5r4qs3y.us-east-2.aws.clickhouse.cloud \
    --secure \
    --port 9440 \
    --password Myp@ssw0rd \
    --query "
    INSERT INTO hackernews
    SELECT
        id,
                type,
                lower(author),
                timestamp,
                comment,
                children,
                extractAll(comment, '\\w+') as tokens
    FROM input('id UInt32, type String, author String, timestamp DateTime, comment String, children Array(UInt32)')
    FORMAT TabSeparatedWithNames
"

Посетите страницу документации о clickhouse-client, чтобы узнать подробности о том, как установить clickhouse-client на вашей локальной операционной системе.

Связанный контент​

Связанный контент