LOSSGRAD: automatic learning rate in gradient descent

In this paper, we propose a simple, fast and easy to implement algorithm LOSSGRAD (locally optimal step-size in gradient descent), which automatically modifies the step-size in gradient descent during neural networks training. Given a function $f$, a point $x$, and the gradient $\nabla_x f$ of $f$, we aim to find the step-size $h$ which is (locally) optimal, i.e. satisfies: $$h=arg\,min_{t \geq 0} f(x-t \nabla_x f).$$ Making use of quadratic approximation, we show that the algorithm satisfies the above assumption. We experimentally show that our method is insensitive to the choice of initial learning rate while achieving results comparable to other methods.Comment: TFML 201

Lesson of Revolution: Lenin reading Hegel

W tekście podjęty zostaje problem relacji wzajemnego, dialektycznego zapośredniczania się Heglowskiej spekulacji i Leninowskiej praktyki teoretycznej. Punktem wyjścia analizy jest anegdota o Leninie, który po katastrofie roku 1914 postanawia całkowicie wycofać się i wyjeżdża do Berna, by w tamtejszej bibliotece czytać Naukę logiki Hegla. Podczas tej wzmożonej pracy teoretycznej nad niemieckim idealistą zrozpaczony Lenin dostrzega niepowtarzalną szansę na rewolucję, zadając tym samym kłam ewolucyjnemu determinizmowi Drugiej Międzynarodówki. Artykuł usiłuje odpowiedzieć na pytanie, na ile Leninowska lektura Hegla mogła mieć wpływ na uformowanie się heterodoksyjnej względem marksistowskiej tradycji teorii rewolucji („najsłabszego łańcucha w ogniwie”)? Czy to właśnie powrót od Marksa do Hegla otworzył drogę leninowskiemu wydarzeniu? Próbom odpowiedzi na te pytania towarzyszą rozważania nad drugą stroną dialektycznej relacji wzajemnego oddziaływania, tj. nad wnioskami z leninowskiej lektury dla samego rozumienia Hegla. Lenin w Zeszytach filozoficznych „stara się czytać Hegla materialistycznie” antycypując tym samym jedną z kluczowych dwudziestowiecznych wykładni Heglowskiej dialektyki Lukácsa, a nawet współczesne materialistyczne interpretacje (np. S. Žižka czy S. Kouvelakisa).The essay aims at investigating the mutual, dialectical mediation between Hegelian speculation and Leninist theoretical practice. It was inspired by the anecdote about Lenin who, having seen all European Social Democratic parties adopting the “patriotic line” that condemned proletarians to fratricidal violence after the outbreak of World War I, decided to retreat to countryside to read Hegel‟s Logic. In desperation, during intense theoretical work on Hegel, Lenin was able to recognize the unique chance for revolution (a fact that belied the evolutionary historicism of the Second International). This brings up certain questions: how far did Lenin‟s reading of Hegel influence his own heterodox theory of revolution (“the weakest link in the chain”)? Did this return to Hegel open the way to the Leninist event? The attempt to address these questions will be supplemented with reflections on the other side of the dialectical interaction, namely, on the Lenin‟s lessons for understanding Hegel‟s philosophy. Lenin in the Philosophical Notebooks tried to read Hegel in materialistic manner, anticipating Lukács‟ interpretation of Hegel‟s dialectic and even contemporary readings (for example SlavojŽižek‟s or StathisKouvelakis‟). Perhaps it was Lenin, not Marx, who “discovered the rational kernel within the mystical shell” of Hegelian dialectic, and showed more understanding of it than his great predecessor. I will combine these two moments of dialectical equation and try to deduce what lessons Hegel-Lenin gives us concerning the possibilities of radical social change in the epoch of late neoliberal capitalism. Ultimately, the old Leninist question of “what is to be done?” remains. Maybe the answer is: go to countryside to read Lenin

The October Revolution in Poland: A History of Anti-Communist Repression

Podstawowa teza niniejszego artykułu jest następująca: rewolucja październikowa miała istotny wpływ zarówno na odzyskanie przez Polskę niepodległości, jak i na kształt polskich walk klasowych. Jednak historia tego wpływu jest całkowicie wypierana albo nawet jawnie negowana we współczesnym hegemonicznym prawicowym dyskursie historycznym w Polsce. Setna rocznica rewolucji wywołała publicystyczną dyskusję, w ramach której wydarzenia te były przedstawiane jako „demoniczne źródło dwudziestowiecznego totalitaryzmu”, zapoznając tym samym entuzjazm, jaki rewolucja wywołała wśród Polaków (zarówno jej uczestników, jak i pełnych nadziei obserwatorów). Nacjonalistyczna historiografia, idealizująca Polaków za wszelką cenę, stara się usilnie wymazać polskie zaangażowanie w „Czerwony Październik” albo zredukować je do rangi nieistotnego epizodu. W związku z tym tekst stanowi analizę dominującej narracji na temat rewolucji bolszewickiej w Polsce na przykładzie popularnonaukowej publikacji Mateusza Staronia Zdrajcy: Polacy u boku Lenina. Stawką tej analizy jest z jednej strony zbadanie strategii i sposobów antykomunistycznego „przepisywania” historii, podporządkowanej doraźnym celom ideologicznym, z drugiej zaś przedstawienie alternatywnej – wobec obowiązujących antykomunistycznych klisz – narracji dotyczącej rewolucji październikowej w polskim kontekście, opierającej się na trzech zagadnieniach:1. Polskiego uczestnictwa w październikowych wydarzeniach;2. Wpływu rewolucji na odzyskanie niepodległości przez Polskę;3. Polskich rad robotniczych jako bezpośredniej odpowiedzi na rewolucję rosyjską.Cel niniejszego artykułu nie ogranicza się – w związku z powyższym – do przedstawienia alternatywy dla dominującego dyskursu, wykonania kolejnego ćwiczenia w zakresie politycznej i historycznej wyobraźni czy wyciągnięcia na światło dzienne wypartych aspektów polskiej historii. Idzie tu raczej o ukazanie logiki i struktury samej antykomunistycznej narracji.The paper supports the following thesis: the October Revolution influenced the constituency of the Polish independent state in 1918 as well as the structure of class struggles in Poland. The history of this impact is absolutely ignored or even denied in contemporary Polish anti-communist ruling historical discourse. The centenary of the Russian Revolution triggered debates presenting this event as “a demonic source of the 20th century totalitarianism”, without mentioning the enthusiasm the Revolution provoked in Polish people (who were both actively participating in it and inspired by it). The nationalist historical policy, which idealizes Poles at any cost, attempts to erase Polish engagement in “Red October” or belittle it as an insignificant episode. For this reason, by analyzing the dominant narrative about the Bolshevik Revolution in Poland via the example of Mateusz Staroń’s book Traitors: Poles the allies of Lenin, I will show how anti-communist discourse reshapes the past to serve its own ideological purposes and present an alternative narrative about the Russian Revolution in a Polish context, against these dominant anti-communist clichés, concerning 3 issues:1. Polish participation in the October Revolution,2. The Revolution’s influence on Poland’s independence,3. The Polish workers’ council movement as a direct response to the Russian Revolution.In the context of the above, the aim of this paper is not limited to providing an alternative to the ruling discourse, being just another exercise in political and historical imagination, or attempting to bring to light repressed aspects of Polish history. Rather, it is to show the logic and structure of the anti-communist narrative as such

Fragmenty denologii Slavoja Žižka

This article reconstructs the ontology of Slavoj Žižek’s last two philosophical books – Less Than Nothing and Absolute Recoil. It begins with an analysis of the concept (fundamental for the whole project) of the den, “less than nothing”, which comes from the philosophy of Democritus and was implemented by Žižek into the discourse of contemporary ontology. First, the article describes the structure of the den and tries to formulate its definition (which Žižek never did). Next, it outlines the scheme and function of the negative subject, which is the essential issue for Žižek’s dialectical materialism. Finally, it attempts to integrate the notion of subjectivity with the ontology of den (i.e. dentology) by using concepts from the Hegelian dialectic (the logic of “recoil” and “downward-synthesis”).Celem artykułu jest rekonstrukcja modelu ontologii opracowanego przez Žižka w jego ostatnich pracach filozoficznych – Less Than Nothing i Absolute Recoil. Punkt wyjścia stanowi analiza fundamentalnego dla całego projektu pojęcia den („mniej niż niczego”), które pochodzi z filozofii Demokryta i zostaje przeniesione na obszar współczesnej ontologii. W pierwszym kroku, próbuję opisać strukturę den i sformułować jego definicję (czego Žižek nie robi). W drugim kroku zarysowuję schemat i funkcję podmiotu negatywnego, który stanowi podstawowy problem dla materializmu dialektycznego Žižka. Wreszcie w trzecim kroku podejmuję próbę integracji pojęcia podmiotowości i ontologii den (nazywanej tutaj denologią) przy pomocy narzędzi z Heglowskiej dialektyki (logiki „przeciwuderzenia” oraz „zstępującej-syntezy”). Innymi słowy, z chaotycznych i fragmentarycznych analiz Žižka próbuję wydobyć minimalnie koherentny projekt ontologiczny

Komunizm kosmiczny

Cosmic CommunismKomunizm kosmiczn

What drives them to drive? Mode choice for holiday travel in Poland and its determinants

The article presents insights into holiday travel and its determinants in Poland. The purpose of the study was to analyze Polish citizens’ modal split and its determinants. Raw data from a pilot survey conducted in 2015 were used as the source material. To identify the determinants of travel mode choice for holiday trips, a multilevel multinomial logit model was utilized. This approach made it possible to include the hierarchical structure of the data, in which respondents are clustered within municipalities. The results reveal that apart from the decision-maker’s socioeconomic characteristics and household attributes, trip characteristics significantly determine Polish citizens’ choice of holiday travel mode. Moreover, the inclusion of municipality-level predictors substantially improved the accuracy of the model. The analysis revealed that the severity of the environmental consequences of motorized transport perceived by respondents also significantly influences their travel mode choice for holiday trips

Exploiting Transformer Activation Sparsity with Dynamic Inference

Transformer models, despite their impressive performance, often face practical limitations due to their high computational requirements. At the same time, previous studies have revealed significant activation sparsity in these models, indicating the presence of redundant computations. In this paper, we propose Dynamic Sparsified Transformer Inference (DSTI), a method that radically reduces the inference cost of Transformer models by enforcing activation sparsity and subsequently transforming a dense model into its sparse Mixture of Experts (MoE) version. We demonstrate that it is possible to train small gating networks that successfully predict the relative contribution of each expert during inference. Furthermore, we introduce a mechanism that dynamically determines the number of executed experts individually for each token. DSTI can be applied to any Transformer-based architecture and has negligible impact on the accuracy. For the BERT-base classification model, we reduce inference cost by almost 60%

Denologia. Słowo wstępne

A short introduction to the reading seminar on dentology (the ontology of den, of “less than nothing”).A short introduction to the reading seminar on dentology (the ontology of den, of “less than nothing”)

Finding the Optimal Network Depth in Classification Tasks

We develop a fast end-to-end method for training lightweight neural networks using multiple classifier heads. By allowing the model to determine the importance of each head and rewarding the choice of a single shallow classifier, we are able to detect and remove unneeded components of the network. This operation, which can be seen as finding the optimal depth of the model, significantly reduces the number of parameters and accelerates inference across different hardware processing units, which is not the case for many standard pruning methods. We show the performance of our method on multiple network architectures and datasets, analyze its optimization properties, and conduct ablation studies