CDOPolecane tematy

W jakim kierunku powinien pójść rozwój AI w Polsce

O perspektywach rozwoju sztucznej inteligencji w Polsce, zastosowaniach zaawansowanych algorytmów w różnych sektorach gospodarki oraz o polityce rozwoju AI w Polsce w najbliższej przyszłości rozmawiamy z przedstawicielami Ministerstwa Przedsiębiorczości i Technologii oraz firm Atena Usługi Informatyczne i Finansowe, Hewlett Packard Enterprise, ING Banku Śląskiego i Synerise oraz niezależną ekspertką.

W jakim kierunku powinien pójść rozwój AI w Polsce

W Ministerstwie Przemysłu i Technologii przygotowano projekt „Polityki rozwoju sztucznej inteligencji w Polsce na lata 2019-2027”. Na co powinniśmy więc położyć największy nacisk, jeśli chodzi o rozwój tego segmentu gospodarki?

Jan Staniłko, dyrektor Departamentu Innowacji, Ministerstwo Przedsiębiorczości i Technologii (J.S.): Są dwa podejścia do sztucznej inteligencji. Na poziomie europejskim nie ma spójnej strategii w tej kwestii. Pierwsze podejście, francuskie, naukowo-technologiczne, w którym nazwane są konkretne kierunki rozwoju. Czesi mają podobną, aplikacyjną strategię, w której wyznaczają konkretne, ilościowe cele wdrożenia rozwiązań Artificial Intelligence. Polska strategia oparta została na innych zasadach. My wychodzimy z założenia, że sztuczna inteligencja może być zastosowana wszędzie – zarówno w budowie maszyn rozumujących i, które mogą zastąpić ludzi, jak i tam, gdzie algorytmy rekomendujące mogłyby dokonać zasadniczego zwiększenia możliwości ludzi. W tym ostatnim przypadku mamy do czynienia np. z systemami wspierania lekarzy, syntetyzujące wiedzę, której człowiek nie jest w stanie opanować samodzielnie. Dostarczają więc dodatkową wartość.

Jak europejskie strategie wyglądają na tle Stanów Zjednoczonych i Chin? Dziś 88% rynku sztucznej inteligencji należy do firm z tych właśnie państw, a do podmiotów z Unii Europejskiej zaledwie 11% rynku…

J.S.: Stany Zjednoczone nie potrzebują właściwie żadnej, z góry określonej strategii. Tam rozwój technologii dzieje się sam. Jest bowiem napędzany przez sektor prywatny. Amerykański rząd ma też partnerów mających do dyspozycji ogromne zbiory danych. Nie potrzebuje więc wypracowywać narodowej strategii. Wszystkie możliwe jej założenia pozamykane są bowiem w strategiach korporacyjnych.

W Polsce podeszliśmy do problemu bardzo szeroko jako do problemu społeczno-gospodarczego. Z jednej strony zadajemy sobie w niej pytanie, jak wspierać zastosowania sztucznej inteligencji, aby jej zastosowania nie generowały lęków społecznych Rozważamy też jakie rozwiązania prawne trzeba stworzyć, a jakie zmienić w tym celu? Z drugiej staramy się więc myśleć o sztucznej inteligencji jako o zjawisku gospodarczym. W każdej organizacji mamy continuum działań, na którego jednym końcu mamy do czynienia z aktywnościami kreatywnymi, a z drugiej czynnościami, które można łatwo zautomatyzować, czynnościami, z którymi powinniśmy się jak szybciej „żegnać”. Rzadko dostrzega się, że to co najciekawsze dzieje się po środku – gdzie ludzie szkolą algorytmy oraz gdzie algorytmy dają ludziom swoiste supermoce, stają się małymi Iron Manami. Zastanawiamy się więc co zrobić, aby mieć więcej takich Iron Manów? Jak sprawić, aby polskie firmy oferujące tego typu rozwiązania znalazł popyt na nie wśród polskich klientów? Na powyższe pytania próbujemy odpowiedzieć w naszej strategii.

W jakim kierunku powinien pójść rozwój AI w Polsce

Stany Zjednoczone nie potrzebują właściwie żadnej, z góry określonej strategii. Tam rozwój technologii dzieje się sam. Jest bowiem napędzany przez sektor prywatny. Amerykański rząd ma też partnerów mających do dyspozycji ogromne zbiory danych. Nie potrzebuje więc wypracowywać narodowej strategii. Wszystkie możliwe jej założenia pozamykane są bowiem w strategiach korporacyjnych. W Polsce podeszliśmy do problemu bardzo szeroko jako do problemu społeczno-gospodarczego. Z jednej strony zadajemy sobie w niej pytanie, jak wspierać zastosowania sztucznej inteligencji, aby jej zastosowania nie generowały lęków społecznych Rozważamy też jakie rozwiązania prawne trzeba stworzyć, a jakie zmienić w tym celu? Z drugiej staramy się więc myśleć o sztucznej inteligencji jako o zjawisku gospodarczym – mówi Jan Staniłko, dyrektor Departamentu Innowacji, Ministerstwo Przedsiębiorczości i Technologii.

Patrycja Herbowska-Tytro, ekspert w zakresie e-Commerce i Digital (P.H.): Kluczem do demokratyzacji rozwiązań z zakresu sztucznej inteligencji wydaje się być chmura. To właśnie dzięki rozwiązaniom cloud computing dostęp do modułów AI ma prawie 90% użytkowników AI w różnych krajach. Biznes jest zdecydowanie bardziej skłonny do pozyskiwania dostępu do AI na zasadzie SaaS, co pozwala na uniknięcie ogromnych nakładów pracy (i dodatkowych inwestycji) związanych np. z przygotowaniem danych czy zintegrowaniem rozwiązań z istniejącymi procesami. Dzięki temu, zamiast skupianiu się na samym środowisku, można skupić się na tym, co najważniejsze, czyli jakich odpowiedzi może dostarczyć AI.

Jakie przyjęto założenia polityki rozwoju sztucznej inteligencji w Polsce?

J.S.: W przyjętym projekcie wychodzimy z założenia, że w Polsce największy nacisk trzeba położyć na element koordynacyjno-wdrożeniowy. Opracowaną strategię opieramy na naszych badaniach, z których wynika, że polski sektor IT ma m.in. bardzo niską wartość dodaną. I nie tylko w porównaniu do najbardziej rozwiniętych krajów. Przeciętna wartość dodana polskiego pracownika IT jest niższa niż w Rumunii. Powodów jest kilka. Jednym jest specyfika zatrudnienia. W sektorze jest dużo samozatrudnionych, którzy pracują w zespołach koderskich i rozwijają produkty klientów, często zagranicznych, a nie własne produkty firm polskich.

Za pośrednictwem LinkedIn – dzięki uprzejmości Microsoft – zbadaliśmy, jak wygląda profil polskiego „informatyka”. Okazało się, że jest gigantyczna liczba ludzi po “Computer Science”, ale mamy bardzo duży niedobór “Software Engineers”. Brakuje również konkretnych specjalizacji. Mamy też co prawda bardzo dużo absolwentów informatyki, ale cyfryzacja innych kierunków inżynierskich jest dużo mniej rozwinięta niż w innych krajach. W takim środowisku trudno o koordynację, podejście multidyscyplinarne i udostępnianie sobie zasobów, a to one często decydują o zintegrowaniu i atrakcyjności rozwiązań informatycznych.

W obszarze AI mamy cztery czynniki produkcji. Pierwszy to dane, które w Polsce często nie są w dyspozycji firmy IT. Drugi to wiedza, zarówno książkowa, jak i praktyczny know-how. Tu jest ryzyko wypłukania specjalistów ze szkół wyższych przez sektor prywatny. Trzeci to pieniądze, ale poparte wiedzą – czyli Smart Money. Czwarty zaś to szeroko rozumiana infrastruktura – nie tylko techniczna, ale też prawna. Samo udostępnianie danych wymaga odpowiedniej infrastruktury prawnej, szczególnie, gdy są to dane publiczne. Pośrodku tej matrycy jest jeszcze piąty czynnik, czyli organizacja. To firmy bowiem tworzą rozwiązania, a nie pojedynczy ludzie. Mamy bowiem świetnych informatyków, ale to Samsung, Intel, IBM, Roche czy Allegro tworzą największe zespoły AI w Polsce. Pieniądze, dane, talenty, infrastruktura – zintegrowanie tych elementów wymaga często nowych organizacji takich jak m.in. Platforma Przemysłu Przyszłości, państwowa fundacja wspierającej cyfryzację gospodarki, a nie samego państwa.

P.H.: W kontekście samozatrudnienia wśród pracowników IT, długofalowe trendy przewidują coraz większą popularność tego modelu pracy. Cyfrowy nomadyzm, który z założenia związany jest z pracą dla firm ponad granicami państw, idzie w parze z rozwijającą się tzw. Gig Economy, czyli pracą freelancerską dla wielu organizacji.

Jak wygląda pozycja Polski na tle innych Państw w kontekście sztucznej inteligencji?

J.S.: Na razie nie zajmujemy się geopolityką AI. To problem podobny do sieci 5G. Należy odpowiedzieć sobie na pytanie z kim się związać? Kogo wziąć za partnera? Marzy mi się sytuacja, w której w Polsce – lub nawet w ramach Grupy Wyszehradzkiej V4 – stworzymy wirtualny instytut badawczy współfinansowany w 50% przez państwo, a w 50% przez firmy komercyjne. Oczywiście pod warunkiem, że te drugie nie będą podkupywać pracowników tego instytutu. Taki instytut – mając formę prawną Not For Profit Research Corporation – oferowałby zarobki na poziomie rynkowym. Pracującym przy tym projekcie ekspertom pozwoliłoby to poświęcić się pracy naukowej. Z tego, po pewnym czasie, mogłyby wykluć się konieczne do rozwoju AI w Polsce konieczne doświadczenie i niezbędna masa krytyczna talentów.

W jakim kierunku powinien pójść rozwój AI w Polsce

Kluczem do demokratyzacji rozwiązań z zakresu sztucznej inteligencji wydaje się być chmura. To właśnie dzięki rozwiązaniom cloud computing dostęp do modułów AI ma prawie 90% użytkowników AI w różnych krajach. Biznes jest zdecydowanie bardziej skłonny do pozyskiwania dostępu do AI na zasadzie SaaS, co pozwala na uniknięcie ogromnych nakładów pracy (i dodatkowych inwestycji) związanych np. z przygotowaniem danych czy zintegrowaniem rozwiązań z istniejącymi procesami. Dzięki temu, zamiast skupianiu się na samym środowisku, można skupić się na tym, co najważniejsze, czyli jakich odpowiedzi może dostarczyć AI – mówi Patrycja Herbowska-Tytro, ekspert w zakresie e-Commerce i Digital.

Jacek Szymański, wiceprezes zarządu, Atena Usługi Informatyczne i Finansowe (J.Sz.): Reprezentuję wspomnianych wytwórców oprogramowania. Zatrudniamy obecnie ok. 600 pracowników, z czego 140 zatrudniliśmy w roku 2018, co ważne przy bardzo niskiej rotacji. Jeśli chodzi o wykorzystanie AI w praktyce, to realizujemy tego typu projekty na co dzień. Robotyzacja procesów w ubezpieczeniach – a w tym sektorze działamy – stała się faktem. Przykładowo oferujemy rozwiązanie obliczające wysokość składki, które pracuje na naszym silniku taryfikacyjnym. System pozwala na bieżąco monitorować wysokość oferowanej składki i zmieniać jej wysokość tak, aby była ona akceptowalna dla klienta i jednocześnie utrzymywała ustalony poziom konwersji z oferty na polisę. Takie automaty funkcjonują już na dużą skalę.

J.S.: Opowiada Pan o gotowych produktach, które może pan sprzedać, bo ma dużych klientów. Klienci Ci zaś – dzięki ich wdrożeniu – mogą oszczędzić 500 albo nawet 1000 etatów. Tam, gdzie są duzi klienci, gdzie można uzyskać duże oszczędności, AI szybko chwyta. Dotyczy to zwłaszcza mocno zdigitalizowanego sektora finansowego. Proszę się postawić w sytuacji producenta gumy, ograniczonego regulacjami BHP. Sytuacja takich firm jest diametralnie różna.

J.Sz.: To prawda, w naszej branży, ale myślę, że nie jest to odosobniony przypadek, wdrożenie produktu np. zastosowanie sztucznej inteligencji musi przynosić klientowi określone uzyski, czy to finansowe czy to wizerunkowe. Tylko jeśli przynosimy określone uzyski, mamy szansę na uzyskanie finansowania ze strony prywatnego inwestora.

Jaka jest różnica pomiędzy Polską, a rynkami bardziej dojrzałymi, jeśli chodzi o rozwój sztucznej inteligencji?

J.S.: Przede wszystkim w USA wartość niematerialna jest aktywem. Dlatego też tam rozwój technologii świetnie działa i nikt nie pyta o państwowe pieniądze. Tymczasem w Polsce aktorzy ekonomiczni nie rozumieją, czym są te nieuchwytne aktywa. W Europie oprogramowania się nie patentuje, więc nie może być aktywem firmy. W Polsce zmieniliśmy właśnie prawo patentowe tak, aby umożliwić ochronę rozwiązania cyber-fizycznego, czyli oprogramowania związanego bezpośrednio z produktem. Nikt w Unii Europejskiej dotąd tego nie robi.

Michał Zajączkowski, dyrektor generalny Hewlett Packard Enterprise w Polsce (M.Z.): Niedawno mieliśmy spotkanie z polskimi partnerami. W jego trakcie jedna z firm badawczych przedstawiała raport z badania, w którym pytała o stopień wykorzystania różnego typu rozwiązań IT? Szczerze mówiąc, jest to podobne pytanie do tego, które Państwo w resorcie przedsiębiorczości i technologii zadawali na LinkedIn. Odpowiadając ankietowani mówili raczej nie o tym, gdzie się znajdują z projektami, lecz gdzie chcieliby być. Dotyczyło to wszystkich odpowiedzi na takie tematy, jak transformacja cyfrowa, chmura obliczeniowa czy sztuczna inteligencja. To modne, nośne hasła, które sprzedaje się na rynku. Jednak za tymi chwytliwymi sloganami kryją się złożone zjawiska. Czy bowiem coś, co da się zalgorytmizować zawsze jest sztuczną inteligencją? Nie. Tymczasem w każdym artykule używa się tego określenia. Sztuczna inteligencja to kolejne hasło, które każdy rozumie inaczej.

Mamy w Polsce firmy, które na olbrzymią skalę pracują nad rozwiązaniami m.in.  z zakresu autonomicznych samochodów, które wykorzystują sztuczną inteligencję, ale mało kto o nich słyszy. Potrafimy jedynie przytoczyć nazwy tego typu dużych koncernów – chińskich lub amerykańskich a jesteśmy w tym obszarze bardzo silni jako polska branża IT.

W jakim kierunku powinien pójść rozwój AI w Polsce

Jeśli chodzi o wykorzystanie AI w praktyce, to realizujemy tego typu projekty na co dzień. Robotyzacja procesów w ubezpieczeniach – a w tym sektorze działamy – stała się faktem. Przykładowo oferujemy rozwiązanie obliczające wysokość składki, które pracuje na naszym silniku taryfikacyjnym. System pozwala na bieżąco monitorować wysokość oferowanej składki i zmieniać jej wysokość tak, aby była ona akceptowalna dla klienta i jednocześnie utrzymywała ustalony poziom konwersji z oferty na polisę. Takie automaty funkcjonują już na dużą skalę – mówi Jacek Szymański, wiceprezes zarządu, Atena Usługi Informatyczne i Finansowe.

Wojciech Ogórek, Senior IT Architect, AI Lead, ING Bank Śląski (W.O.): Jednocześnie chińskie firmy działają na porównywalną skalę, co amerykańskie, ale są mniej znane. Być może rozwijają się one tak szybko, bo – w przeciwieństwie do Europy – nie mają tak wielu ograniczeń prawnych. Chińskie firmy mogą więc w praktyce wykorzystywać algorytmy sztucznej inteligencji np. do Social Scoringu. Na Zachodzie nikt nie zgodziłby się na wprowadzenie – obejmującego wszystkich obywateli Chin – systemu reputacyjnego Social Credit System stosowanego m.in. przez Chiński Bank Ludowy.

J.S.: Warto w tym kontekście wspomnieć, że w tym roku ogłoszono współpracę serbskiej i chińskiej policji. Ulice Belgradu patrolują policjanci z Chin. Pretekstem do podpisania umowy była ochrona bezpieczeństwa chińskich turystów. Tymczasem prawdziwym celem zdaje się nauka chińskich algorytmów prawidłowego rozpoznawania twarzy Europejczyków w oparciu o kamery monitoringu miejskiego. Mówiąc o Chinach trzeba pamiętać, że jest to totalitarne państwo rządzone przez inżynierów. Dlatego tak wiele polityki „weszło” w tematy związane z zakupem technologii 5G. Dziś mamy do czynienia ze swego rodzaju zimną wojną pomiędzy Chinami i USA. Jednocześnie do Polski przyjeżdżają reprezentanci obu stron. Analizując ofertę chińskiej firmy mamy dziś duży dylemat. Stosując jedynie kryterium ceny powinniśmy wybrać ją właśnie. Biorąc jednak pod uwagę strategiczne interesy państwa, lepiej byłoby poczekać 1,5 roku na europejskie rozwiązania z zakresu sieci 5G i utrzymać europejską suwerenność technologiczną.

Polskie firmy często kupowały chińskie rozwiązania, bo Prawo zamówień publicznych kazało im wybrać najtańszą ofertę…

J.S.: W tego typu przypadkach ujawniają się raczej wady utartych praktyk związanych z zamówieniami publicznymi. Możemy bowiem „geograficznie” ograniczać dostęp niektórych dostawców i wykluczyć np. chińskich oferentów z przetargów. W Polsce się tego jednak nie robi.

Wracając jednak do AI, czemu w Polsce tak „opornie” idzie rozwijanie tego typu rozwiązań?

J.Sz.: Największym wyzwaniem jest stworzenie przychylnego klimatu dla zatrudniania odpowiednich specjalistów. Gdy coś będzie się firmom opłacało, to będą to robić, bo będą w tym widzieć korzyść.

J.S.: Kapitał buduje kapitał, a inwestycje w tzw. aktywa nieuchwytne – wartości niematerialne i prawne, na których opiera się rozwój technologii – w USA szybko rosną. Tymczasem w Europie wciąż jest z tym słabo. Przyczyną są rozbieżne rozumienie inwestycji w Stanach Zjednoczonych i na Starym Kontynencie. Dla przykładu, amerykańskie firmy biotechnologiczne mają inwestorów, którzy finansują bardzo drogie wizyty ich założycieli na najważniejszych konferencjach z tej dziedziny. Tam bowiem będą oni mogli nawiązać relacje z ludźmi, którzy będą rozumieli ich rozwiązania i będą w stanie docenić potencjał stojący za tak zaawansowanymi produktami. U nas mało kto chce inwestować w ten sposób „spędzany” czas.

Tymczasem w przypadku złożonych i nowatorskich rozwiązań takich, jak biotechnologia czy algorytmy sztucznej inteligencji, zanim transakcja dojdzie do skutku, trzeba zidentyfikować i zweryfikować potencjalnego partnera. Często bowiem firmy sprzedają coś, co może uchodzić za kota w worku, więc wymaga to płatnego Proof of Concept, na co nie ma zbyt wielu chętnych. Z drugiej strony mamy zaś do czynienia ze specyficzną klasą polskich przedsiębiorców, którzy mają po 60 lat i boją się wskoczyć na głęboką wodę inwestując w rozwiązania sztucznej inteligencji, bo nie chcą „utopić” swoich własnych pieniędzy. Tymczasem w Polsce powinniśmy wydawać je na testowanie nowych, potencjalnie innowacyjnych rozwiązań.

W jakim kierunku powinien pójść rozwój AI w Polsce

Widzę jeden, duży problem polskiej branży IT. W Rosji, Chinach, Indiach czy Arabii Saudyjskiej studenci wyjeżdżają do Oxfordu czy Massachusetts Institute of Technology. Często te wyjazdy są sponsorowane przez rządy lub prywatne firmy. Zdobywają w ten sposób doświadczenie, a potem wracają i dzielą się nim. W Polsce to się niestety nie dzieje. Przykładowo działem Data Science Sbierbank Rossii kierują bardzo młodzi ludzie po Oxfordzie, Uniwersytecie Nowojorskim. Publikują w zachodnich magazynach, jeżdżą na międzynarodowe konferencje. Wizytę w Sbierbank Rossii – pod względem poziomu technicznego i naukowego – mogę porównać do wizyty w najlepszym, amerykańskim start-up’ie – mówi Jacek Dąbrowski, Chief AI Officer, Synerise.

Jak wyglądają inwestycje w zakresie sztucznej inteligencji w innych krajach?

Jacek Dąbrowski, Chief AI Officer, Synerise (J.D.): Zanim odpowiem na to pytanie, odniosę się do tego, co zostało przed chwilą powiedziane. Z tego, co obserwuję, to na całym świecie istnieje obawa starszego pokolenia przed inwestycjami w nowe technologie, zwłaszcza jeśli wymagają one poniesienia dodatkowych nakładów na badania. Wydaje mi się, że jest to powszechna kwestia kulturowo-pokoleniowa.

Natomiast widzę jeden, duży problem polskiej branży IT. W Rosji, Chinach, Indiach czy Arabii Saudyjskiej studenci wyjeżdżają do Oxfordu czy Massachusetts Institute of Technology. Często te wyjazdy są sponsorowane przez rządy lub prywatne firmy. Zdobywają w ten sposób doświadczenie, a potem wracają i dzielą się nim. W Polsce to się niestety nie dzieje.

Odwiedziłem niedawno siedzibę Sbierbank Rossii. Jest to największy bank w Rosji i Europie Wschodniej, którego historia sięga jeszcze roku 1841. Wydawać by się mogło, że to państwowy, przestarzały moloch. Nic bardziej mylnego! Dział tego banku zajmujący się Data Science wygląda zupełnie inaczej. Kierują nim bardzo młodzi ludzie po Oxfordzie, Uniwersytecie Nowojorskim. Publikują w zachodnich magazynach, jeżdżą na międzynarodowe konferencje. Wizytę w Sbierbank Rossii – pod względem poziomu technicznego i naukowego – mogę porównać do wizyty w najlepszym, amerykańskim start-up’ie. Widać, że zarząd tego banku rozumie, jak ważna jest inwestycja w Data Science i jaką – w perspektywie kilku lat – może dać przewagę konkurencyjną.

M.Z.: Mamy firmy, które potrafią skutecznie wykorzystać potencjał polskich specjalistów i naukowców. Dlaczego więc nie chcą oni zostać w Polsce i pracować dla polskich firm?

J.S.: Ze względu na kulturę organizacyjną. Tego typu specjaliści mogą bowiem nawet przez rok nie pracować, byle tylko zajmować się wyłącznie czymś, co ich rozwija. Kluczowa dla nich jest bowiem tzw. “treść pracy”, wyzwania intelektualne, kultura organizacji i ambitne cele. Tymczasem polscy przedsiębiorcy raczej stronią od ryzyka i ambitnych celów, nie są nadmiernie innowacyjni, ale raczej zaradni, co oznacza, że przewagę konkurencyjną budują nie na technologii / wiedzy a raczej na zdolności „manewrowania na wzburzonym morzu”.  Bardzo ważny jest też skomplikowany proces wdrożenia rozwiązań z zakresu sztucznej inteligencji. Trzeba bowiem przeprojektować do niego całą architekturę organizacji i kompetencji, przekonać wszystkich, że dziś pan od wielkiej maszyny nie jest już najważniejszy, że teraz ważniejszy będzie w organizacji specjalista od niewidzialnych systemów i algorytmów.

W.O.: Nie tylko w Polsce panuje tego typu kultura. W USA oczywiście są prestiżowe firmy technologiczne, jak Google, Facebook czy Netflix, ale pozostałe to również ogromne molochy z rozbudowaną biurokracją i hierarchią. Wydaje mi się, że zdolni i ambitni ludzie mają tam takie same problemy, ja my w Polsce.

W jakim kierunku powinien pójść rozwój AI w Polsce

Transformacja cyfrowa, chmura obliczeniowa czy sztuczna inteligencja to modne, nośne hasła, które sprzedaje się na rynku. Jednak za tymi chwytliwymi sloganami kryją się złożone zjawiska. Czy bowiem coś, co da się zalgorytmizować zawsze jest sztuczną inteligencją? Nie. Tymczasem w każdym artykule używa się tego określenia. Sztuczna inteligencja to kolejne hasło, które każdy rozumie inaczej. Jednocześnie mamy w Polsce firmy, które na olbrzymią skalę pracują nad rozwiązaniami m.in.  z zakresu autonomicznych samochodów, które wykorzystują sztuczną inteligencję, ale mało kto o nich słyszy. Potrafimy jedynie przytoczyć nazwy tego typu dużych koncernów – chińskich lub amerykańskich a jesteśmy w tym obszarze bardzo silni jako polska branża IT – mówi Michał Zajączkowski, dyrektor generalny Hewlett Packard Enterprise w Polsce

W jaki sposób wspierać rozwój kompetencji i wiedzy związanej ze sztuczną inteligencją?

J.S.: Wielu, młodych, zdolnych ludzi pracuje dziś w Polsce dla międzynarodowych koncernów. Chciałbym jednak, aby po 5, 10 latach pracy wychodzili z korporacji i robili tzw. Corporate Entrepreneurship. Ich wiedza jest bardzo potrzebna dla rozwoju polskiego rynku. Młody geniusz, bez takiego doświadczenia nie będzie bowiem umiał rozmawiać z klientami, zorganizować procesów w swojej organizacji…

W.O.: …ani też poprawnie zidentyfikować biznesowego problemu.

J.D.: Mamy zagranicą ludzi, którzy zajmują się biznesem i już są milionerami. Mamy też kilku miliarderów, część z nich z obywatelstwem amerykańskim. Nie są jednak zachęcani do tego, aby wrócić do Polski, zainwestować w naszym kraju.

J.S.: Jak powinniśmy to zrobić?

J.D.: Podam przykład, austriackiego banku, który postanowił się unowocześnić. Jego kierownictwo zidentyfikowało w organizacji trzech, młodych ludzi z doświadczeniem biznesowym, informatycznym i finansowym. Nie „dorastali” stażem do pozostałych członków zarządu, ale wprowadzono ich tam na pełnych prawach. Dostali zadanie przeprowadzenia procesu digitalizacji i wprowadzenia rozwiązań z zakresu sztucznej inteligencji. Projekty te oddano to młodym ludziom, którzy zdobywali doświadczenie na Zachodzie, w najlepszych organizacjach. Niestety, w Polsce zarząd firmy uzna raczej, że jeśli mi się udało prowadzić biznes przez ostatnie 30 lat, to żaden „pętak” z Zachodu nie będzie im mówił, co mają robić.

J.S.: W Polsce jest to problem zarówno ludzki, organizacyjny jak i zarządczy…

M.Z.: Chciałbym też zwrócić uwagę na dodatkową różnicę pomiędzy USA a Europą. Tam system edukacyjny działa tak, aby nie nakładać ograniczeń. U nas wpada się w hierarchię już w podstawówce, a podejście to kontynuowane jest potem w szkole średniej i na studiach. Wierzę, że jeśli naprawimy podstawowe błędy systemowe w edukacji młodych ludzi, wyzwolimy w Polsce ogromny potencjał.

W jakim kierunku powinien pójść rozwój AI w Polsce

Duże firmy mają problemy mentalne z eksperymentowaniem. Eksperyment może się nie udać. Tymczasem brakuje w polskich firmach kultury, która – jak w USA – uznaje, że to jest w porządku. Jednocześnie ustalenie, że wprowadzimy normę trzech innowacji na kwartał zabija innowacyjność. A do tego każda z nich musi być dochodowa. Takie podejście to zaprzeczenie idei innowacyjności – mówi Wojciech Ogórek, Senior IT Architect, AI Lead, ING Bank Śląski.

P.H.: Skoro o systemie edukacji mowa, faktycznie przydałyby się zmiany systemowe, by móc lepiej odpowiadać na potrzeby gospodarki, w której liczą się innowacyjność i wykorzystanie nowych technologii. Już teraz brakuje na rynku specjalistów o kompetencjach STEM – Science Technology Engineering Mathematics, a wg prognoz w kolejnych latach ten deficyt będzie się pogłębiał. Większy udział kobiet (obecnie mocno niedoreprezentowanych) w tym obszarze pomógłby nie tylko te braki kadr zmniejszyć, ale również przełamywać opór w organizacjach związany choćby z adopcją AI. W końcu technologia ma być odpowiedzią na problemy i wyzwania, z jakimi mierzą się ludzie, dlatego potrzebuje bardziej „ludzkiej twarzy” i obudowania miękkimi umiejętnościami, by efektywnie przeprowadzić zmianę.

J.S.: W tym kontekście warto wspomnieć, że zaczynamy właśnie pilotażowy program „AI dla szkół”. Działania tego typu to – moim zdaniem- najlepszy transfer know-how, bo ma szansę zintegrować się z wciąż nabywaną nową wiedzą.

M.Z.: Poza problemami z edukacją jest jeszcze jeden dylemat – pracodawców, którzy mają ograniczone zaufanie do młodego pokolenia. Z jednej strony zatrudnia doświadczonego pracownika, z drugiej zaś ma młodego, zdolnego człowieka o większym potencjale, który jednak – jeśli coś okaże się mało interesujące – szybko zmieni pracę.

Młodzi ludzie mogliby dokonać cyfrowej transformacji w polskiej gospodarce. W jaki sposób wspierać ten proces?

P.H.: W Polsce wciąż bardziej liczy się doświadczenie niż Digital Mind. To pokazuje też na ile jesteśmy otwarci na zmiany czy skłonni do podejmowania skalkulowanego ryzyka. Tymczasem właśnie osoby z nowym cyfrowym podejściem mogłyby inspirować organizacje do strategicznych zmian.

J.S.: Zmiana dla polskich firm to często sfera niepewności. Nie potrafią one przypisywać prawdopodobieństwa do poszczególnych strategicznych decyzji i w ten sposób przenieść zmiany ze sfery niepewności do sfery ryzyk. Przez to rynek finansowy nie działa optymalnie i bardziej skomplikowane instrumenty mitygujące ryzyko nie są używane.

M.Z.: To prawda. Problemem bowiem jest to, że się tego nie uczymy. Przykładowo na Uniwersytecie Stanforda uczy się sprzedaży pomysłu, a nie samej jego prezentacji. Kładzie się nacisk na elementy, które interesują potencjalnych inwestorów i potrafią ich przekonać do pomysłu.

J.S.: W innowacyjnych firmach decyzje buduje się często od ludzi na niskim poziomie hierarchii. W firmach skostniałych decydują raczej ci, do których należy władza na strukturą organizacji. Zatem w zależności od architektury decyzyjnej organizacji o inwestycjach może decydować prestiż, moda czy rutyna, a z drugiej strony, merytokracja…. O to wszystko się rozbija. Jeśli działamy w środowisku, które nie chce ryzykownych, długoterminowych inwestycji w technologie i innowacje, to ich nie będzie.

W przyjętej strategii rozwoju sztucznej inteligencji wychodzimy z założenia, że w Polsce największy nacisk trzeba położyć na element koordynacyjno-wdrożeniowy. Opracowaną strategię opieramy na naszych badaniach, z których wynika, że polski sektor IT ma m.in. bardzo niską wartość dodaną. I nie tylko w porównaniu do najbardziej rozwiniętych krajów. Przeciętna wartość dodana polskiego pracownika IT jest niższa niż w Rumunii. Powodów jest kilka. Jednym jest specyfika zatrudnienia. W sektorze jest dużo samozatrudnionych, którzy pracują w zespołach koderskich i rozwijają produkty klientów, często zagranicznych, a nie własne produkty firm – wyjaśnia Jan Staniłko.

J.D.: Dlatego potrzebujemy nowych, doświadczonych liderów, którzy powrócą do kraju, bo zaproponowane zostaną im ciekawe możliwości rozwoju. Patriotyczne nostalgie są powszechne wśród ludzi, którzy odnieśli sukces na Zachodzie. Nie dajemy im jednak szansy na powrót.

W.O.: W Dolinie Krzemowej coraz powszechniejszy jest strach przed tym, co nas omija – FOMO (Fear Of Missing Out – przyp. red.). Tam inwestor nie przejmuje się więc ryzykiem, bo ma wrażenie, że jeśli nie wejdzie w ryzykowny projekt, to jeśli mała szansa na to, że będzie to mityczny „jednorożec” się ziści, to sobie tego nie daruje.

J.S.: W Polsce większość inwestorów nie obraca dużymi pieniędzmi, a jeszcze rzadziej wiedza finansowa poparta jest wiedzą techniczną oraz globalną wiedzą branżową i siecią znajomości (to się określa właśnie smart money). Ludzie inwestujący w imieniu największych, polskich, prywatnych funduszy skarżą się, że ich właściciel co prawda założył fundusz, ale „na nic nie chce wydać pieniędzy”. Inni mówią zaś, że być może i chce, ale ma w funduszu ludzi, którzy boją się podejmować decyzje albo inwestować w najzdolniejszych, bo mogliby zagrozić ich własnej pozycji. Mamy też do czynienia ze swego rodzaju „pańszczyźnianym” modelem venture capital – “jak inwestuję w jakiś projekt, to tylko ja i nikt więcej”. W USA zaś zwykle nie ma dominującego inwestora. Wchodzi kilku inwestorów mniejszościowych, każdy podejmuje jedynie część ryzyka, jednocześnie ma więc motywację, aby pomagać założycielom spółki, w którą zainwestował, aby dzielić się z nimi wiedzą.

J.S.: Jedną z ciekawszych innowatorek w Polsce jest dziś Olga Malinkiewicz, która wymyśliła nową metodę zastosowania krystalicznego materiału, jakim są perowskity. Mają one szansę zdeklasować krzem, dotychczas najpowszechniej stosowany w ogniwach fotowoltaicznych półprzewodnik. W tym roku jej firma Saule Technologies uruchomi pilotażową linię, na której będzie wytwarzać perowskitowe moduły fotowoltaiczne. Udowodniła, że da się zrobić ciekawy unikalny biznes z Polski. Olga Malinkiewicz zrobiła doktorat w Hiszpanii, ale wróciła do Polski. Jednakowoż przezornie dla swojej polskiej spółki pozyskała japońskiego inwestora.

W co inwestują firmy, jeśli chodzi o szeroko pojętą sztuczną inteligencję?

P.H.: Handel jest obszarem, o którym mówi się, że może najwięcej zyskać na innowacjach związanych z algorytmami AI. Już teraz jest kilka obszarów, gdzie wdrożenia tego typu rozwiązań przynoszą znaczące korzyści. Na pewno należy do nich personalizacja oferty. Dzięki algorytmom uczącym się możemy zaproponować produkt dostosowany do nas, relewantny. Ciekawym przypadkiem jest tu Netflix. Z jego danych wynika, że 75% tego, co oglądamy jest sugerowane przez stosowane w tej firmie sieci neuronowe.

Inny bardzo dynamicznie rozwijający się obszar sztucznej inteligencji to kontakt z klientem. Szacuje się, że w najbliższej przyszłości aż 15% wszystkich interakcji z klientami będzie odbywać się za pośrednictwem chatbotów, czyli czystej, zautomatyzowanej, sztucznej inteligencji. Rozmawiając z automatem możemy sprawdzić, czy dany produkt jest w sklepie i czy są interesujące nas modele oraz odpowiednie ich rozmiary. Dodatkowo rozwiązania NLP (Natural Language Processing – przyp. red) są w stanie „przywołać” żywego sprzedawcę, jeśli sieć neuronowa rozpozna u nas niebezpieczne dla marki emocje, np. frustrację.

Okazało się, że w Polsce jest gigantyczna liczba ludzi po “Computer Science”, ale mamy bardzo duży niedobór “Software Engineers”. Brakuje również konkretnych specjalizacji. Mamy też co prawda bardzo dużo absolwentów informatyki, ale cyfryzacja innych kierunków inżynierskich jest dużo mniej rozwinięta niż w innych krajach. W takim środowisku trudno o koordynację, podejście multidyscyplinarne i udostępnianie sobie zasobów, a to one często decydują o zintegrowaniu i atrakcyjności rozwiązań informatycznych – mówi Jan Staniłko.

Są też ciekawe rozwiązania back office oparte o algorytmy sztucznej inteligencji. Jednym z nich jest inteligentne zarządzanie całym, posiadanym w magazynie asortymentem towarów i jego zapasami, z możliwością dynamicznego dostosowania cen pod konkretny typ klienta.

J.S.: Hiszpańska Zara była w stanie wdrożyć rewolucyjny model Fast Fashion, ponieważ naukowcy z Massachusetts Institute of Technology przygotowali plan „ustawienia” gospodarki magazynowej i logistyki pod dużą rotację konfekcji. Skutkiem było ulokowanie produkcji w Maroko, a nie np. w Chinach. Udało się to, ponieważ kierownictwo tej firmy zleciło to zadanie uczelni wyższej i skorzystała ze wsparcia naukowców, którzy temat „przemyśleli”.

W Polsce – wspólnie z firmą Siemens – przeprowadziliśmy badanie, w którym zapytaliśmy, jak uczą się polskie firmy, skąd czerpią wiedzę? Okazuje się, że aż 75% z nich wskazało na “media” (czytaj: Google). Kolejną, najbardziej popularną odpowiedzią była “konferencje branżowe” czy targi. Odpowiedziało w ten sposób już tylko 25% respondentów. Jak widać polskie firmy nie mają potrzeby korzystania z doradztwa (chyba, że za darmo), a co dopiero płacenia za wiedzę naukowcom. Ci z kolei, nie angażując się w taką aktywność są oderwani od praktyki. Nasz gospodarka oparta jest głównie na rutynie, doświadczeniu, znajomościach…

Może polskie firmy nie czują potrzeby wsparcia ze strony uczelni, ponieważ nie mają czego analizować? Może nie są gotowe na tego typu innowacje?

J.D.: Jest w Polsce wielu klientów – współpracujemy z nimi – którzy mają wystarczającą skalę, aby uruchamiać poważne projekty oparte na danych. Są to duże sieci handlowe takie, jak CCC, Carrefour czy Żabka, ale także operatorzy telekomunikacyjni. Z tego typu organizacjami jesteśmy w stanie realizować projekty wykorzystujące algorytmy sztucznej inteligencji. Wierzę, że w Polsce mamy potencjał, jeśli chodzi o AI. Mamy bardzo dobrych matematyków-teoretyków, których wiedza bardzo dobrze sprawdza się na świecie w różnego typu projektach – od budowy architektury systemów AI po wspierający je sprzęt. Niedawno Nvidia uruchomiła w Polsce centrum R&D, w którym pracuje się nad rozwiązaniami AI, w tym Deep Learning.

P.H.: Faktem jest jednak, że pozyskanie danych od mniejszych klientów może trwać bardzo długo, a to z kolei może wydłużać cały projekt bazujący na uczeniu maszynowym czy AI… Z drugiej strony, impulsem do wdrożenia innowacji często stają się problemy z wymianą informacji w czasie rzeczywistym pomiędzy kontrahentami biznesowymi.

Marzy mi się sytuacja, w której w Polsce – lub nawet w ramach Grupy Wyszehradzkiej V4 – stworzymy wirtualny instytut badawczy współfinansowany w 50% przez państwo, a w 50% przez firmy komercyjne. Oczywiście pod warunkiem, że te drugie nie będą podkupywać pracowników tego instytutu. Taki instytut – mając formę prawną Not For Profit Research Corporation – oferowałby zarobki na poziomie rynkowym. Pracującym przy tym projekcie ekspertom pozwoliłoby to poświęcić się pracy naukowej. Z tego, po pewnym czasie, mogłyby wykluć się konieczne do rozwoju AI w Polsce konieczne doświadczenie i niezbędna masa krytyczna talentów – deklaruje Jan Staniłko.

J.S.: Proszę sobie wyobrazić, że jestem „Januszem biznesu”. Co musiałby Pan zrobić, aby dobrać się do moich danych?

J.D.: Wszystko zależy od gotowości na innowacje. My współpracujemy raczej z tzw. Early Adopters, którzy nie tylko gotowi są do wdrożenia rozwiązań z zakresu sztucznej inteligencji, ale także będą chcieli współtworzyć z nami nowy produkt. Chcą eksperymentować i mogą udostępnić nam swój ekosystem do pozyskania – niezbędnych do stworzenia nowego rozwiązania – danych.

J.S.: Warto podkreślić, że innowacyjność to usystematyzowane, zdyscyplinowane eksperymentowanie. W Polsce jest sporo dobrych managerów od operacji, wykształconych w zachodnich korporacjach. Natomiast brakuje osób posiadających skłonność do zdyscyplinowanego eksperymentowania, tzw. discovery-driven growth.

W.O.: Duże firmy mają problemy mentalne z eksperymentowaniem. Eksperyment może się nie udać. Tymczasem brakuje w polskich firmach kultury, która – jak w USA – uznaje, że to jest w porządku. Jednocześnie ustalenie, że wprowadzimy normę trzech innowacji na kwartał zabija innowacyjność. A do tego każda z nich musi być dochodowa. Takie podejście to zaprzeczenie idei innowacyjności.

Czy da się pójść drogą na skróty we wdrażaniu rozwiązań sztucznej inteligencji?

M.Z.: Jedna ze znanych mi firm w Polsce otwarcie przyznaje, że kopiuje rozwiązania, bo innowacyjność jest za droga. A kopiowanie skraca czas wdrożenia tego rozwiązania mniej więcej o pół roku. Jednak ta firma może pozwolić sobie na to, aby jej konkurent zyskał w tym czasie przewagę. On ją bowiem szybko nadrobi kopiując jakieś rozwiązanie…

J.D.: Jest wiele firm, które nie kupią rozwiązania, ale postanowią „zrobić to sami”. Taka strategia, jeśli chodzi o AI jest zasadna tylko w przypadku monopoli i megakorporacji. Firmy wertykalne średniego kalibru nie mogą sobie pozwolić na przyciągnięcie ludzi wysokiej klasy. Szczególnie, jeśli mają siedzibę poza wielkimi miastami. Producent kiełbas, który chce powołać zespół Data Science pod Głogowem to też częsty przypadek. Ale firma tego typu po 2-3 nieudanych projektach zwykle kupuje coś gotowego. Wiele firm musi przez ten proces po prostu przejść.

P.H.: To wynika z braku zrozumienia podstawowych zasad rządzących rynkiem AI. W tym przypadku Brain Drain dla najrzadszych i najbardziej pożądanych globalnie talentów. Inny przykład to niezrozumienie istoty uczenia maszynowego. Pamiętam taki case. W pewnej firmie trafność systemu Machine Learning oczywiście nie była 100-proc. Oczekiwano jednak, że rozwiązane zostaną wszystkie problemy. Skończyło się na tym, że ludzie musieli później manualnie uzupełniać dane, bo przeszacowane były oczekiwania, albo kolejne etapy nie zostały uwzględnione.

Warto w tym kontekście wspomnieć, że w tym roku ogłoszono współpracę serbskiej i chińskiej policji. Ulice Belgradu patrolują policjanci z Chin. Pretekstem do podpisania umowy była ochrona bezpieczeństwa chińskich turystów. Tymczasem prawdziwym celem zdaje się nauka chińskich algorytmów prawidłowego rozpoznawania twarzy Europejczyków w oparciu o kamery monitoringu miejskiego. Mówiąc o Chinach trzeba pamiętać, że jest to totalitarne państwo rządzone przez inżynierów. Dlatego tak wiele polityki „weszło” w tematy związane z zakupem technologii 5G. Dziś mamy do czynienia ze swego rodzaju zimną wojną pomiędzy Chinami i USA. Jednocześnie do Polski przyjeżdżają reprezentanci obu stron – mówi Jan Staniłko.

W.O.: Jeśli osiągniemy 100-proc. trafność w uczeniu maszynowym to możemy mieć jedynie pewność, że w modelu coś jest nie tak.

Plecy innowatorów są zaś pełne noży. Choć podobno główną zasadą marketingu jest “nieważne czy jesteś lepszy, ważne abyś był pierwszy”…

M.Z.: Możemy narzekać na menedżerów. Wiele firm ma jednak ogromny potencjał generowania danych. Są to już w Polsce nawet fabryki produkcyjne. Duże firmy to rozumieją.

W.O.: Dlatego dane są coraz częściej traktowane jako cenny zasób, a od ich ochrony zależy konkurencyjność przedsiębiorstw.

M.Z.: Jako partner w tego typu projektach nie chcę jednak wyciągać od klientów tych danych. Wolę usiąść przy jednym stole i zastanowić się wspólnie, jak je wykorzystać. Każda firma, a nawet miasto generuje ogromne ilości informacji, które można wykorzystać.

W.O.: Jest też ogromna nisza dla firm w naszym kraju związana z przetwarzaniem języka polskiego. Małe, lokalne firmy mają szansę dostarczyć operujące na nim rozwiązania. Duże firmy, takie jak ING Bank Śląski, współpracują z nimi.

J.Sz.: Korzystając z wiedzy naszego klienta poszliśmy dalej. Mamy zespoły Data Scientists, statystyków, matematyków, którzy znają się na analizie danych i tworzeniu algorytmów, tworzą hipotezy, które następnie są weryfikowane poprzez analizę danych wspieraną przez AI. Hipotezy tworzone są we współpracy z konsultantami ze strony biznesu klienta. Kluczowe bowiem jest bowiem zanurzenie się w rzeczywistości klienta. W kolejny kroju potrzebna jest menedżerska determinacja i odwaga, aby wprowadzać zmiany, które wynikają z przeprowadzonej analizy.

J.D.: Też obserwuję ten problem. Rynek AI zmierza do tego, że system będzie w stanie zamodelować dane z rozmaitych obszarów. Trzeba będzie jednak tym algorytmom zadawać odpowiednie pytania. To swego rodzaju szklana kula, która pozwala znaleźć odpowiedzi na pytania o użytkowniku. Robimy to m.in. dla Żabki. Pytania można jednak zadawać dowolne: Jaki produkt klientów najbardziej interesuje? Kiedy zadzwonić z nową ofertą, a kiedy lepiej wysłać maila? Gdy jednak proponujemy wymyślenie pytań przeciętnemu prezesowi polskiej firmy jest często problem z brakiem rozeznania w możliwościach sztucznej inteligencji.

W.O.: To, że klienci nie wiedzą jakie pytanie zadać, to kwestia edukacji. Co ważne ci, którzy potrafią zadawać te pytania za kilka lat zdominują rynek.

M.Z.: Może sami powinniście podrzucać pomysły? Albo też wpierw zapytać o cele, np. obniżkę kosztów, wzrost biznesu, nowe pomysły na biznes, tzw. „user experience”, a potem dostosować do nich pytania…

J.D.: Do tego to się właśnie sprowadza.

W.O.: W banku mamy wiele różnych potrzeb, musimy więc odpowiadać na wiele, różnych pytań. Inne chce zadać marketing, dotyczą zwykle strategii sprzedaży; inne operacje skupiające się na inteligentnej automatyzacji procesów; a jeszcze inne dział IT, który chce się dowiedzieć, kiedy system się zepsuje.

J.Sz.: Nasz klient miał problem, który jest dość powszechny, dotyczący segregowania maili w zależności od sprawy jakiej dotyczą. Zaproponowaliśmy mu proste rozwiązanie, z wykorzystaniem namiastki sztucznej inteligencji, ale bez korzystania z zaawansowanych sieci neuronowych. Zadziałało. W efekcie użytkownik może dziś zaoszczędzić 1,5 godziny, bo system wykonuje wstępną ocenę sprawy zawartej w mailu, a następnie wysyła go do odpowiedniej osoby. Dodatkowo, w zależności od kategorii sprawy dociąga dane niezbędne do dalszego procedowanie tego tematu np. podjęcia decyzji. Trwa to mniej niż minutę. Klient wykorzystał do rozwiązania problemu naszą wiedzę, a my mamy nowy, gotowy produkt.

P.H.: Każdy biznes najlepiej przekonać liczbami. Jeśli mówimy o AI i edukacji, to jest to na pewno sposób na wzbudzenie ciekawości. Jeśli firma transportowa usłyszy, że może zaoszczędzić 15% kosztów paliwa przez optymalizację tras, musi być zainteresowana wejściem w tego typu projekt!

W obszarze AI istnieje pięć czynników produkcji:
  1. Dane, które w Polsce często nie są w dyspozycji firmy IT.
  2. Wiedza, zarówno książkowa, jak i praktyczny know-how. Tu jest ryzyko wypłukania specjalistów ze szkół wyższych przez sektor prywatny.
  3. Pieniądze, ale poparte wiedzą – czyli Smart Money.
  4. Szeroko rozumiana infrastruktura – nie tylko techniczna, ale też prawna. Samo udostępnianie danych wymaga odpowiedniej infrastruktury prawnej, szczególnie, gdy są to dane publiczne.
  5. Pośrodku tej matrycy jest jeszcze piąty czynnik, czyli organizacja. To firmy bowiem tworzą rozwiązania, a nie pojedynczy ludzie. Mamy bowiem świetnych informatyków, ale to Samsung, Intel, IBM, Roche czy Allegro tworzą największe zespoły AI w Polsce. Pieniądze, dane, talenty, infrastruktura – zintegrowanie tych elementów wymaga często nowych organizacji takich jak m.in. Platforma Przemysłu Przyszłości, państwowa fundacja wspierającej cyfryzację gospodarki, a nie samego państwa.

Źródło – Ministerstwo Przedsiębiorczości i Technologii

Rozmawiał Adam Jadczak
Notował Bartosz Ciszewski

Tagi

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *