Урок по Talend: Какво е Talend ETL инструмент?
Прафула Ранадив
⚡ Умно обобщение
Talend е платформа с отворен код за интеграция и управление на данни, чието графично студио генерира нативен код за ETL, големи данни и облачни канали, и която сега се предлага комерсиално като Qlik Talend Cloud.
Какво е Talend?
Talend е софтуерна платформа с отворен код, която предлага решения за интеграция и управление на данни. Talend е специализирана в голямо количество от данни интеграция. Платформата предоставя функции като облачни услуги, големи данни, интеграция на корпоративни приложения, управление на качеството на данните и основните данни. Тя също така предоставя унифицирано хранилище за съхранение и повторна употреба на метаданни.
Talend исторически е бил достъпен както във версия с отворен код, така и в премиум версия и се използва широко за облачни изчисления и интеграция на големи данни.
Важна актуализация на състоянието: Qlik завърши придобиването на Talend през май 2023 г., а на 31 януари 2024 г. безплатните издания на Talend Open Studio бяха оттеглени — те вече не се хостват, не се обновяват или не се добавят корекции. Търговската платформа продължава да съществува като Qlik Talend Cloud. Разделите по-долу описват Open Studio така, както е работило, докато е било поддържано, което все още е най-ясният начин да се разбере как... ETL инструмент е сглобено.
История на Talend
Основните етапи по-долу trace Talend от френски проект за научноизследователска и развойна дейност до системата за интеграция на данни и качество в облачната платформа на Qlik.
| година | Важно събитие |
|---|---|
| 2002 | R & D |
| 2005 | Създаване на компания - Първи кръг от финансиране на AGF private equity & Galle Partners |
| 2006 | Open Studio V1.0 - Стартирахме операциите с нас |
| 2007 | Интеграционен пакет/ затворен втори кръг на финансиране |
| 2008 | Отворете Profiler/ Data Quality |
| 2009 | Интеграционен пакет RTx/MPx/ MDM придобиване |
| 2010 | IDM Community Edition/ MDM Enterprise Edition |
| 2011 | Отворено студио V5 |
| 2014 | OW2 Най-добър проект |
| 2015 | Признат модерен продукт |
| 2016 | DBTA 100 |
| 2017 | Магически квадрант на Gartner за инструменти за интегриране на данни |
| 2021 | Родна интеграция на Stitch с Amazon Redshift конзола |
| 2021 | Тома Браво придобива Talend в сделка, оценявайки я на около 2.4 милиарда долара. |
| 2023 | Qlik, също подкрепен от Thomas Bravo, завършва придобиването на Talend през май |
| 2024 | Talend Open Studio е пенсиониран на 31 януари; безплатната версия за настолни компютри не получава допълнителни актуализации. |
| 2024 | Qlik Talend Cloud ще стане общодостъпен през юли като платформа наследник, добавяйки разширени от изкуствен интелект канали, продукти за данни и пазар за данни. |
| 2024 | Talend MDM сървърът достига края на жизнения цикъл на 31 декември; Talend 7.3 напуска стандартната поддръжка през ноември |
| 2025 | Qlik Talend Cloud добавя задачи от Knowledge Mart, които векторизират данни за RAG приложения, плюс линия на задачите на Talend Studio в Qlik Cloud Catalog. |
| 2025 | Ноемврийската версия предлага крайни точки на API с едно щракване за управлявани продукти от данни, автоматизирана документация на полета, правила за качество на данните, предложени от изкуствен интелект, и управление на данните. |
| 2026 | На Qlik Connect през април, Qlik обявява агентно инженерство на данни: декларативни конвейери, AI асистент за Talend Studio, маршрутизиране в реално време и вградено стрийминг на Open Lakehouse. |
| 2026 | Платената разширена поддръжка за Talend 7.3 приключва през декември, което прави Talend 8 или Qlik Talend Cloud единствените поддържани варианти. |
Продуктов пакет Talend
Пакетът продукти Talend се състои от 3 основни продукта, обсъдени по-долу.
Talend Big Data
Talend може лесно да автоматизира интеграцията на големи данни с графични инструменти и помощници. Това позволява на организацията да изгради среда, която работи с Apache Hadoop, Spark намлява NoSQL бази данни за облачни или локални работни места.
Много компании приеха Hadoop за спестяване на разходи и подобряване на производителността, тъй като корпоративните решения често консумират скъпо изчислително време. С Hadoop данните могат да бъдат трансформирани, почистени, обогатени и интегрирани за по-тежки аналитични натоварвания.
Talend Sandbox включва четири случая на употреба:
- Оптимизация на складове за данни
- Clickstream Analytics
- Анализ на настроенията в социалните медии
- Анализ на уеблогове на Apache
Можете също така да създавате свои собствени, по-сложни случаи на употреба, в допълнение към тези.
Предимства на Talend за големи данни и Hadoop
- Подобрява ефективността на проектирането на задачи с големи данни чрез подреждане и конфигуриране на компоненти в графичен интерфейс
- Добавя функции за качество на данните, мащабируемост и управление
- Поддръжката на MapReduce позволява по-бърза паралелна обработка на данни
- Споделено хранилище и отдалечено внедряване
- Качество на данните и профилиране с почистване на данни
- Вградена поддръжка за HBase, HDFS, кошер, Sqoop и прасе
- Вграден в платформата за данни Hortonworks
Интеграция на данни
Талантът софтуер за интегриране на данни има отворена, мащабируема архитектура, която позволява по-бърз отговор на бизнес заявки. Инструментът разработва и внедрява задачи за интеграция на данни по-бързо от ръчното кодиране.
Позволява ви да интегрирате всичките си данни с други хранилища за данни или да синхронизирате данни между системи. Интеграцията на данни означава комбиниране на данни, съхранявани в различни източници, и предоставяне на унифициран поглед върху тях на потребителите. Talend ви помага да управлявате ETL задачи и предоставя на потребителите лесна, самостоятелна подготовка на данни.
Предимства на Talend за интеграция на данни
Гъвкава интеграция: отговаряйте по-бързо на бизнес заявки без писане на код, използвайки над 1000 готови конектора, Eclipseграфични инструменти, базирани на -базирани, и генератор на код, оптимизиран за производителност.
Производителност на екипа: да си сътрудничат, използвайки версии, анализ на въздействието, тестване и отстраняване на грешки и управление на метаданни.
Лесно управление: Инструментът предлага разширено планиране и наблюдение. Той осигурява интеграция на данни в реално време с табла за управление и централизиран контрол за бързо внедряване в множество възли.
Останете пред конкуренцията: Използването на платформата означава, че не е нужно да чакате най-новите функции за интеграция на данни да достигнат до вас.
Ниска цена на собственост: Talend използва абонаментен ценови модел. Плащате за броя разработчици, използващи Talend Studio, което е по-евтино от фиксираното лицензиране на сървър.
Интеграционен облак
Можете да ускорите проекти за интеграция на данни в облака и локално, използвайки високо мащабируема и сигурна платформа за интеграция в облака като услуга (iPaaS). Talend Integration Cloud предлага свързаност, вградено качество на данните и генериране на нативен код.
Това е защитена платформа за интеграция с облак, която позволява на ИТ и бизнес потребителите да свързват както облачни, така и локални системи. Задачите, проектирани в облака, също могат да бъдат управлявани, наблюдавани и контролирани там.
Предимства на интеграционния облак
Таблицата по-долу сравнява Talend Integration Cloud с ръчно кодираната алтернатива, която е предназначена да замени.
| Talend Integration Cloud | Други инструменти |
|---|---|
| 900+ компонента за плъзгане и пускане | Ръчно кодиране, което е непродуктивно |
| Генерира оптимизиран код | Необходими са специализирани умения |
| Сътрудничество и управление | Трудно се поддържа |
| Златна поддръжка (SLA) | Ограничена подкрепа |
Какво е Talend Open Studio?
Talend Open Studio беше отворена архитектура за интеграция на данни, профилиране на данни, големи данни, интеграция в облака и други.
Това е графична среда с графичен интерфейс, която предлага повече от 1000 предварително изградени конектора. Това улеснява извършването на операции като трансформиране на файлове, зареждане на данни и преместване и преименуване на файлове. Всеки компонент може да бъде конфигуриран да дефинира сложен процес.
Задачите за интеграция се създават от компоненти на Talend, които са конфигурирани, вместо кодирани. Задачите могат да се изпълняват от средата за разработка или да се експортират и изпълняват като самостоятелни скриптове.
Предимства от използването на Talend Open Studio
- Това намалява времето за разработка на интеграция от седмици и месеци до дни или дори часове.
- Той преобразува и актуализира данни, съхранявани в различни източници.
- Той следи и управлява трудни внедрявания с лекота.
- Той предлага една от най-ниските разходи за притежание в сравнение с всяко сравнимо решение.
- Наследява силата на основата Java платформа за програмиране.
- Широкият избор от изходни и целеви конектори го прави силен избор в цялата индустрия.
- Разполага със силен многосхемен лог файл и отчитане на съгласуване след поток от данни или миграция.
В сравнение с традиционния патентован ETL енджин, разликите изглеждат така:
| Наследен ETL | Таленд |
|---|---|
| Двигател за собственост | отворено |
| Трудни за мащабиране големи данни | Генерира естествен код |
| Скъп | Нисък TCO |
Забележка: Тъй като Open Studio достигна края на жизнения си цикъл на 31 януари 2024 г., безплатната версия не получава корекции за сигурност. Екипите, които все още го използват, трябва да планират преминаване към Qlik Talend Cloud или друга поддържана платформа.
Talend Open Studio Archiтекстура
Архитектурата се разделя на три ключови блока – клиенти, сървър и бази данни – плюс работното пространство и хранилището, които съдържат файловете и метаданните на проекта. Диаграмата по-долу показва как те са свързани.
Клиенти
Блокът „Клиенти“ включва едно или повече Talend Studios и уеб браузъри, които могат да работят на едни и същи или различни машини. Talend Studio ви позволява да изграждате процеси за интеграция на данни, независимо от обема на данните или сложността на процеса.
Talend сървър
Сървърният блок на Talend включва уеб-базиран сървър за приложения. Той позволява администрирането и поддръжката на всички проекти и съхранява потребителски акаунти, права за достъп и оторизации на проекти в базата данни за администрация.
База данни
Блокът „Бази данни“ обхваща базите данни за администриране, одит и мониторинг. Администрацията управлява потребителските акаунти, правата за достъп и оторизацията на проекти. Базата данни за одит помага за оценката на различни аспекти на задачите, така че да може да се изгради процесно-ориентирана система за подпомагане на вземането на решения.
Работно пространство
В Talend, работното пространство е директория, където съхранявате всички папки на проекта. Необходима е поне една директория на работното пространство за всяка връзка с хранилище. Talend може да се свърже с няколко директории на работното пространство, ако не искате да използвате тази по подразбиране.
хранилище
Хранилището е мястото за съхранение, което Talend Open Studio използва за събиране на данни, описващи бизнес модели или проекти за работа.ping Метаданните в хранилището са това, което прави връзката или схемата многократно използваема в различни задачи.
Разширения на Talend Open Studio
Talend Open Studio беше разширено със семейство продукти, които добавиха възможности за управление, качество и обслужване:
- Интеграционен пакет Talend
- Talend при поискване
- Качество на данните на Talend
- Talend ESB
- Talend Big Data Integration
Тези имена датират от ерата на Open Studio. В Qlik еквивалентните възможности се предоставят в Qlik Talend Cloud, а не като отделни файлове за изтегляне.
