Frugal Optimization for Cost-related Hyperparameters

The increasing demand for democratizing machine learning algorithms calls for hyperparameter optimization (HPO) solutions at low cost. Many machine learning algorithms have hyperparameters which can cause a large variation in the training cost. But this effect is largely ignored in existing HPO methods, which are incapable to properly control cost during the optimization process. To address this problem, we develop a new cost-frugal HPO solution. The core of our solution is a simple but new randomized direct-search method, for which we prove a convergence rate of $O(\frac{\sqrt{d}}{\sqrt{K}})$ and an $O(d\epsilon^{-2})$-approximation guarantee on the total cost. We provide strong empirical results in comparison with state-of-the-art HPO methods on large AutoML benchmarks.Comment: 29 pages (including supplementary appendix

FairAutoML: Embracing Unfairness Mitigation in AutoML

In this work, we propose an Automated Machine Learning (AutoML) system to search for models not only with good prediction accuracy but also fair. We first investigate the necessity and impact of unfairness mitigation in the AutoML context. We establish the FairAutoML framework. The framework provides a novel design based on pragmatic abstractions, which makes it convenient to incorporate existing fairness definitions, unfairness mitigation techniques, and hyperparameter search methods into the model search and evaluation process. Following this framework, we develop a fair AutoML system based on an existing AutoML system. The augmented system includes a resource allocation strategy to dynamically decide when and on which models to conduct unfairness mitigation according to the prediction accuracy, fairness, and resource consumption on the fly. Extensive empirical evaluation shows that our system can achieve a good `fair accuracy' and high resource efficiency.Comment: 18 pages (including 6 pages of appendixes

Factors Related to Pre-operative Comfort of Older Adults with Hip Fracture in Wenzhou, China

บทคัดย่อ วัตถุประสงค์: เพื่อศึกษาระดับความสุขสบายก่อนการผ่าตัดและปัจจัยที่สัมพันธ์ในผู้ป่วยสูงอายุที่กระดูกสะโพกหัก ในเมืองเหวินโจว ประเทศจีน วิธีการศึกษา: ตัวอย่าง คือ ผู้สูงอายุที่กระดูกสะโพกหักและตรงตามเกณฑ์การคัดเลือกเข้าศึกษา จำนวน 128 คน จากการสุ่มอย่างง่าย รวบรวมข้อมูลระหว่างเมษายน - มิถุนายน ค.ศ 2022 โดยใช้แบบสอบถามข้อมูลส่วนบุคคล แบบคัดกรอง แบบสอบถามความรู้เกี่ยวกับการผ่าตัดกระดูกสะโพก ความพร้อมต่อการผ่าตัด ความสุขสบาย และการสนับสนุนทางสังคม วิเคราะห์ปัจจัยสัมพันธ์โดยการทดสอบสเปียร์แมน ผลการศึกษา: ความสุขสบายก่อนการผ่าตัดของผู้สูงอายุอยู่ในระดับปานกลาง (ค่าเฉลี่ย = 68.50 ± 7.34 จากทั้งหมด 112 คะแนน) พบว่าความสุขสบายก่อนการผ่าตัดสัมพันธ์ทางบวกอย่างมีนัยสำคัญทางสถิติกับความพร้อมต่อการผ่าตัด (r = 0.333, P-value < 0.001) ความรู้เกี่ยวกับการผ่าตัดกระดูกสะโพก (r = 0.296, P-value < 0.001) และการสนับสนุนทางสังคม (r = 0.226, P-value = 0.010) สรุป: ความสุขสบายก่อนการผ่าตัดสัมพันธ์กับความพร้อมต่อการผ่าตัด ความรู้เกี่ยวกับการผ่าตัดกระดูกสะโพก และการสนับสนุนทางสังคม ผู้ป่วยสูงอายุที่กระดูกสะโพกหักสามารถมีความสุขสบายก่อนการผ่าตัดด้วยการสนับสนุนความพร้อมต่อการผ่าตัด ความรู้เกี่ยวกับการผ่าตัดกระดูกสะโพก และการสนับสนุนทางสังคม   คำสำคัญ: ผู้สูงอายุที่กระดูกสะโพกหัก; ความสขสบายก่อนการผ่าตัด; ความพร้อมต่อการผ่าตัด; ความรู้เกี่ยวกับการผ่าตัดกระดูกสะโพก; การสนับสนุนทางสังคม Abstract Objective: To determine level of pre-operative comfort and its related factors among older adult patients with hip fractures in Wenzhou, China. Method: Simple random sampling was used to recruit 128 older adults who had hip fractures and met the criteria. Data were collected from April to June 2022 using demographic data form, a screening questionnaire, and four questionnaires assessing knowledge about the hip operation, readiness for the operation, Kolcaba’s comfort level, and social support. Spearman correlation analysis was used to examine correlations. Result: Mean score of the pre-operative comfort was at a moderate level (mean = 68.50 ± 7.34 out of 112 points). Pre-operative comfort was significantly positively correlated with readiness for operation (r = 0.333, P-value < 0.001), knowledge about hip fracture (r = 0.296, P-value < 0.001), and social support (r = 0.226, P-value = 0.010). Conclusion: Pre-operative comfort was correlated with readiness for operation, knowledge about hip fracture, and social support. The patients with hip fracture undergoing the surgery could have more comfort through enhancing readiness for the operation, knowledge about hip fracture operation, and social support. Keywords: older adults with hip fractures; pre-operative comfort; readiness for operation; knowledge about hip fracture; social suppor

Seamlessly Unifying Attributes and Items: Conversational Recommendation for Cold-Start Users

Static recommendation methods like collaborative filtering suffer from the inherent limitation of performing real-time personalization for cold-start users. Online recommendation, e.g., multi-armed bandit approach, addresses this limitation by interactively exploring user preference online and pursuing the exploration-exploitation (EE) trade-off. However, existing bandit-based methods model recommendation actions homogeneously. Specifically, they only consider the items as the arms, being incapable of handling the item attributes, which naturally provide interpretable information of user's current demands and can effectively filter out undesired items. In this work, we consider the conversational recommendation for cold-start users, where a system can both ask the attributes from and recommend items to a user interactively. This important scenario was studied in a recent work. However, it employs a hand-crafted function to decide when to ask attributes or make recommendations. Such separate modeling of attributes and items makes the effectiveness of the system highly rely on the choice of the hand-crafted function, thus introducing fragility to the system. To address this limitation, we seamlessly unify attributes and items in the same arm space and achieve their EE trade-offs automatically using the framework of Thompson Sampling. Our Conversational Thompson Sampling (ConTS) model holistically solves all questions in conversational recommendation by choosing the arm with the maximal reward to play. Extensive experiments on three benchmark datasets show that ConTS outperforms the state-of-the-art methods Conversational UCB (ConUCB) and Estimation-Action-Reflection model in both metrics of success rate and average number of conversation turns.Comment: TOIS 202

2D materials for nanoelectronics: A first-principles investigation

Ph.DDOCTOR OF PHILOSOPH

HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts

In this work, we propose a hyperparameter optimization method named \emph{HyperTime} to find hyperparameters robust to potential temporal distribution shifts in the unseen test data. Our work is motivated by an important observation that it is, in many cases, possible to achieve temporally robust predictive performance via hyperparameter optimization. Based on this observation, we leverage the `worst-case-oriented' philosophy from the robust optimization literature to help find such robust hyperparameter configurations. HyperTime imposes a lexicographic priority order on average validation loss and worst-case validation loss over chronological validation sets. We perform a theoretical analysis on the upper bound of the expected test loss, which reveals the unique advantages of our approach. We also demonstrate the strong empirical performance of the proposed method on multiple machine learning tasks with temporal distribution shifts.Comment: 19 pages, 7 figure